삼성전자는 글로벌 정보기술(IT) 기업들과 함께 급증하는 데이터 산업에 대응할 인공지능(AI) 솔루션을 심층적으로 다루는 학회인 ‘멤콘(MemCon) 2023’에 최근 참석했다고 29일 밝혔다.

이날 삼성전자는 뉴스룸을 통해 미국 캘리포니아주 마운틴뷰에서 열린 ‘멤콘(MemCon) 2023’에 최진혁(사진) 삼성전자 미주법인 메모리연구소장 부사장이 ‘데이터 중심 컴퓨팅 시대의 메모리 혁신’을 주제로 기조연설을 진행했다고 전했다.

‘멤콘 2023’은 인공지능(AI) 관련 메모리 솔루션을 보다 심층적으로 다루기 위해 올해 처음으로 개최된 학회이다. 구글, 마이크로소프트 등 메모리, 디바이스, 데이터센터, 서버 업계를 이끄는 글로벌 기업들이 참여해 차세대 기술 동향에 대해 교류한다. 삼성전자는 이 행사의 창립 파트너로 참여한다. 최 부사장은 ▷고성능 메모리에 연산 기능을 내장한 ‘HBM-PIM(고대역폭메모리-프로세싱인메모리)’ ▷연산 기능을 메모리 옆에 위치시킨 ‘PNM(프로세싱 니어 메모리)’ ▷시스템의 메모리 용량을 테라바이트급까지 확장할 수 있는 ‘CXL(컴퓨트 익스프레스 링크) D램’ ▷SSD 내부 연산 기능을 강화한 ‘2세대 스마트SSD’ ▷서버 시스템의 공간 활용도를 높인 ‘페타바이트 스토리지’ ▷인공지능·머신러닝에 최적화된 ‘메모리 시맨틱 SSD’ 등 프로세서와 메모리 간의 병목현상을 해결할 수 있는 차세대 메모리 기술을 제시할 예정이다.

특히 GPT의 지속적인 발전에 따라 학습 데이터와 모델 크기가 급격히 증가하고 있으며, 이로 인해 모델 학습과 추론에 필요한 하드웨어 비용도 증가하고 있다는 설명이다. 챗GPT와 같은 대규모 모델의 경우, 메모리 병목현상으로 지연되는 부분이 80% 이상으로 추정되며, 이로 인해 문장 생성 속도가 지연되고 있는 것으로 알려졌다. 이를 극복하기 위해 해당 모델에 HBM-PIM 기술을 적용해 가속화할 경우, 기존 HBM이 탑재된 그래픽처리장치(GPU) 가속기에 비해 AI 모델의 생성 성능이 약 3.4배 이상 개선될 것으로 전망된다. 김지헌 기자