인 메모리 기술 과 SSD

요즘 "인 메모리 기술" 이 화두다.  참 별거 아닌 기술을 새로운 것이양 난리들이다. 역시 마케이팅 기법, 기술이 뛰어 나다는

의견이다. 별거 아닌것을 잘 조합 포장하여 새로운 기술인것 처럼 표현 하는것 이것도 대단한 마케팅을 염두한 일종에 기술이라고

이해를 한다.

 

사실 기술이란? 것은 어떻게 포장 해야 하느냐? 따라 부가가치가 달라진다는 것 우리는 받아 드려야 한다.

우리 나라도 이젠 포장 기술 즉 마케팅 기법을 활용한 신종어를 만들어야 할 상황이다. 아니 이런한것을을 생활화 해야겠다.

 

20Gbps VOD contents service 서버 , 이것을 어떻게 포장을 해야 하나??? 참 고민 스럽다.

우리도 마케팅, 상품기획 전문가를 영업하여 신종어 탄생을 해야 하겠다.

 

인 메모리 기술이란? 메인 메모리를 활용한 data 처리 기술이 인 메모리 기술이다.

최초 원천은 메인메모리칩을 디스크처럼 제작하여 활용 했던 기술이 서버 아키가 발전을 하면서 메인메모리를 TB까지 확장이 가능하니,

 

이 빠른 메모리를 활용하여 데이타를 처리 한다면, 엄청 빠른 성능으로 처리 할수가 있다.

 

메인메모리 DB 라고 하여 한국에서 최초 개발된 MMDB가 있다.

D 램기반 SSD도 있다.

다들 휘발성메모리를 활용한 데이타 처리 방법이다.

휘발성메모리는 순차읽기/쓰기. 임의 읽기/쓰기 개념이 없이 결론으로 엄청 빠른 성능으로 데이타를 처리 할 수 있다는 장점이 있다.

 

Nand 메모리보다 임의 읽기/쓰기 성능이 10배/100배 이상 빠르게 처리 할수 있다는 장점이 있는 것이다.

 

다만, 전원이 24시간 365일 제공 해야 된다는 전제가 있다.

전원이 공급이 않되면, 메인메모리에 있는 데이타는 전부 유실 되기 때문이다.

그리고 보드BUS 구조에 한계가 있어 100% 성능을 다 처리 할수 없는 부분도 있다.

CPU와 메모리 사이에 진짜 브릿지가없다.  그러나 보드 특성상 PCI-e 와 노스, 사우스 브릿지에 영향을 일부 받는다.

Nand 메모리인 경우는 임의 읽기 경우는 상황에 따라 BUS속도를 능가 할수 있으나, 임의 쓰기는 BUS 내 성능 이하 이다.

복잡한 얘기인데, NAND 메모리는 BUS 내부 속도 내에서 처리 할수 있다는 의견이다. 

 

베터리도 항상 준비가 되어야 하며, 데이타의 안전성을 확보 하기 위하여 DISK에 back data도 확보를 해야 한다.

 

그러나 아주 큰 단점이 있다.

그 단점은 메인 메모리도 DISK로 활용 할 경우 처리 한계가 있다는 것이다.

 

이 처리 한계를 대부분 SW방법으로 logical 하게 처리 하게 되는데, 이 부분에서 문제점들이 많이 발생을 하게 된다.

물론 처리업무에 따라 문제점이 최소화 될수도 있다.

문제는 OS 단계에서 context switch 와 interrupt,fork가 일어나는데,이 부분을 대부분 무시 하고 SW적으로 논리적으로만

처리 하고자 하는 단계가 현실이다.

 

인메모리는 빠르지만, 인메모리에서 처리 되는 데이타의 정합성을 위하여 데이터를 backup하고 인메모리 중 데이터 사용 공간을 논리적으로 설정하고 동시에 위에서 얘기한 context~~  동시에 처리 한다면, 실제 Nand 기반 SSD와 비교 했을때 큰 성능 차이가 없다.

 

실제 인메모리를 활용한 MMDB와 SSD를 활용한 RDB와 성능 비교를 했을때 NAND 기반 SSD의 성능이 30% 이사 더 좋은 결과가 나왔다.

  

또한 인 메모리로만 100% 처리 하여 빅 데이터를 처리 할순 없다.

논리적인 기술로 최대한 인메모리를 활용한 빅데이터 처리 라고 얘기를 해야 맞는 것이다.

 

굴지의 회사들이 인메모리를 활용한 빅데이터 처리를 열심히 홍보 하고 있는데,,,,,,,

공개적으로 한번 테스트를 하고 싶다.

 

인메모리가 엄청 빠르다 하더라도, 결론적으로 NAND기반 SSD가 초당 200,000건 씩을 꾸준하게 처리 한다면, 인메모리 성능 보다

평균적으로 5배 이상의 성능으로 결론이 나온다.

이 부분에 오해가 있을수 있어 좀더 구체적으로 설명을 하면, 10TB 용량의 DB 데이타를 또다른 100TB 용량이 있는 공간에

여러 분석 처리해서 결과 데이타를 10TB 공간에 채우는 빅데이타 처리 경우 메인메모리와 HDD를 활용하는 즉 MMDB로 처리 하는 것 과 비교하여 실제 4.9배 정도의 성능 차이가 나온 결과가 있다.

S사 DB 로그 분석 testing시 나온 결과 이다. 

 

이 성능을 검증하기 위하여 인메모리나, NAND 메모리나 공개 성능 검증과 안전성, 확장성등 까지 검증 할수 있는 고객이 있었으면 좋겠다.

 

아직 중소기업이라 대외적으로 많이 알려지지 않아 같은 입장이 못 되지만,

NAND 기반 SSD를 활용한 서버가 안정성, 확장성, 성능, 가격 등이 고객분들께 큰 ROI를 줄 수 있다는 결과를 알리고 싶다. ㅋㅋ

 

천호식품 회장님의 홍보 영상이 생각이 난다.

"이거 얼마나 좋은데,,, 이거 어떻게 설명을 하나??"

제 심정이다. ㅋㅋ

 

LSD테크란? 회사가 얼마나 좋은데,,,,이거 어떻게 설명을 해야 할지........ㅋㅋ

 

이쪽 분야는 글로벌 회사들이 시장을 벌리면, 그 이후 시작해도 늦지 않는다..

열심히 알려 주길 기대 한다.

 

우리는 눈을 즐겁게 해 줄수 있는 영상 분야 서비스에 일단 승부를 건다.

동남아 계시는 국민님들 저를 기다리시나요???  조금만 더 기다려 주시면, 눈을 즐겁게 해 드리겠습니당~~~

 

서비스 하는 주체인 고객님들께도 전력을 팍 줄이고, 공간도 줄이고 아주 경제적인 비용으로 1서버에서 7500명까지 안정적으로

서비스 할 수 있도록 준비해서 가겠습니다. ㅋㅋ