김호식 SK하이닉스 부사장

‘세미콘 타이완 2026’서 발표

“AI 병목은 GPU 아닌 메모리”

HBM, 저장 넘어 ‘연산’ 역할 확대

김호식 SK하이닉스 메모리시스템리서치 담당 부사장이 2024년 FMS(글로벌 메모리·스토리지 컨퍼런스)에서 발표하고 있다. [링크드인 캡처]
김호식 SK하이닉스 메모리시스템리서치 담당 부사장이 2024년 FMS(글로벌 메모리·스토리지 컨퍼런스)에서 발표하고 있다. [링크드인 캡처]

[헤럴드경제=박지영 기자] 인공지능(AI) 경쟁의 병목이 그래픽처리장치(GPU)의 연산 성능에서 메모리 용량과 대역폭으로 빠르게 이동하고 있다. SK하이닉스는 AI가 학습에서 추론 중심으로 이동하고 에이전틱(Agentic) AI가 확산하면서 메모리의 역할이 단순 저장에서 연산까지 확장되고 있다고 강조했다.

2일 업계와 대만 언론 등에 따르면 김호식 SK하이닉스 메모리시스템리서치 담당 부사장은 전날 대만에서 열린 ‘세미콘 타이완 2026 메모리 이그제큐티브 서밋’에서 ‘AI는 메모리의 역할을 어떻게 재정의하는가’를 주제로 발표했다.

김 부사장은 메모리가 과거 PC·클라우드 시대에는 비용과 전력 소비를 줄여야 하는 부품으로 여겨졌지만 AI 시대에는 시스템 성능과 확장성, 경쟁력을 좌우하는 ‘전략적 인프라’로 바뀌고 있다고 강조했다.

향후 메모리의 가치 역시 단순 용량이나 속도보다 ‘달러당 토큰(Token/$)’, ‘와트당 토큰(Token/W)’ 등 AI 시스템 전체의 효율성 관점에서 평가해야 한다는 설명이다.

특히 AI의 무게중심이 학습에서 추론으로 이동하면서 메모리의 역할은 더욱 커지고 있다. 김 부사장은 엔비디아의 랙 단위 AI 시스템 ‘NVL72’를 사례로 들며 전체 메모리 공간 가운데 절반 이상을 KV 캐시가 차지한다고 설명했다.

KV 캐시는 AI가 앞서 처리한 문맥을 다시 계산하지 않도록 중간 데이터를 저장해 두는 임시 기억 공간으로, 대화가 길어지고 복잡한 추론을 반복할수록 필요한 용량이 급격히 늘어난다.

엔비디아 H200의 사례도 들었다. H200은 연산 코어 자체를 크게 바꾸지 않은 채 메모리 대역폭을 43%, 용량을 76% 늘렸고 이를 통해 추론 성능을 약 90% 향상시켰다. AI 성능을 높이기 위해 GPU의 순수 연산능력뿐 아니라 필요한 데이터를 얼마나 많이, 빠르게 공급할 수 있느냐가 핵심 변수로 떠오른 셈이다.

김 부사장은 이를 바탕으로 메모리의 역할이 단순 ‘저장’을 넘어 ‘컴퓨팅’ 영역으로 확장되고 있다고 설명했다. 데이터 컴퓨팅과 메모리 컴퓨팅, 인 메모리 컴퓨팅 등에 대한 시장 수요가 커지고 있다는 것이다.

고대역폭메모리(HBM)는 이러한 변화의 출발점으로 꼽힌다. 그래픽처리장치(GPU)와 HBM을 하나의 패키지 안에 가깝게 배치해 연산장치와 메모리 사이의 물리적 거리를 크게 줄였기 때문이다.

신경망처리장치(NPU)에 3D 적층형 D램을 결합하는 구조 역시 같은 맥락이다. 연산장치와 메모리의 거리를 좁혀 데이터 이동에 필요한 시간과 전력을 줄이는 방향으로 시스템 구조가 이미 바뀌고 있다는 설명이다.

HBM의 역할을 저장에서 연산으로 한 단계 더 확장하는 방안도 연구되고 있다. 김 부사장은 HBM4부터 베이스 다이에 기존 메모리 공정이 아닌 로직 공정을 활용하면서 다양한 기능을 추가할 수 있는 여지가 커졌다고 설명했다. 커스텀 HBM의 경우 베이스 다이에 일부 연산 기능을 탑재해 GPU가 담당하던 작업을 메모리가 일부 담당할 수 있게 됐다.

SK하이닉스가 연구 중인 ‘스트림DQ(StreamDQ)’가 대표적이다. AI 추론 과정에서 GPU가 수행하던 역양자화 작업을 HBM 베이스다이에 탑재한 전용 연산 블록이 대신 처리해 GPU의 부담과 데이터 이동량을 줄인다. SK하이닉스 연구진은 이 같은 구조를 통해 대규모언어모델(LLM)의 초당 토큰 처리량을 최대 5.15배 높일 수 있다는 연구 결과를 제시한 바 있다.

메모리 혁신의 또 다른 축은 여러 연산장치가 메모리를 함께 쓰는 ‘공유’다. AI 시스템이 서버 한 대를 사용하는 방식에서 여러 서버와 가속기를 묶어 하나의 거대한 시스템처럼 활용하는 구조로 진화하면서, 같은 데이터를 각 서버가 따로 저장하고 반복해서 복사하는 방식의 비효율이 커지고 있기 때문이다.

김 부사장은 특히 KV 캐시를 각 연산 노드가 따로 보관하는 대신 하나의 공유 메모리에 저장해 여러 중앙처리장치(CPU)와 GPU가 함께 사용하는 구조를 제시했다. 그는 중국 알리바바를 포함한 복수의 대형 데이터센터가 이 같은 공유 메모리 설계를 실제 인프라에 적용하고 있다고 소개했다. CPU와 GPU가 외부 메모리 자원을 함께 사용할 수 있도록 연결하는 컴퓨트익스프레스링크(CXL)가 대표적인 기술이다.

첨단 패키징의 중요성도 강조했다. AI 시스템에서 데이터를 연산장치까지 옮기는 데 필요한 에너지가 실제 연산에 필요한 에너지보다 수천~수만 배까지 커질 수 있는 만큼 데이터 이동 거리와 횟수를 줄이는 것이 핵심 과제로 떠오르고 있다는 것이다.

김 부사장은 2.5D·3D 패키징 기술을 그 해법으로 제시했다. 기존 2.5D 패키징에서 칩을 수직으로 쌓는 3D 패키징으로 발전하면 데이터가 이동해야 하는 거리를 한층 줄일 수 있다. 이를 통해 데이터 전송에 필요한 에너지를 비트당 0.2~0.3피코줄(pJ) 수준까지 낮추는 것이 가능하다는 설명이다.

김 부사장은 결국 메모리 업체의 역할이 달라져야 한다고 강조했다. 과거처럼 더 빠르고 용량이 큰 메모리를 만들어 공급하는 데 그쳐서는 AI 시대의 경쟁력을 확보하기 어렵다는 것이다.

앞으로는 고객의 AI 시스템 설계 단계부터 참여해 성능과 전력, 비용을 함께 최적화하는 ‘공동설계(Co-Design) 파트너’로 진화해야 한다는 설명이다.

김 부사장은 “시스템 아키텍처 단계에서부터 고객의 비용 대비·전력 대비 효율을 극대화하고, 향후 랙 단위 AI 시스템과 지능형 컴퓨팅 수요에 대응할 수 있도록 지원해야 한다”고 강조했다.


go@heraldcorp.com