주영표 시스템아키텍처 담당 부사장

25일 델 테크놀로지스 포럼 2026서 기조연설

에이전트AI 도래에 메모리 병목 심화

기하학적 한계 넘는다…GPU 위에 3D 적층

데이터 출퇴근 시간 줄이는 PIM 연구도 주목

구글 터보퀀트 등장에도 ‘제본스의 역설’ 유효

주영표 SK하이닉스 시스템아키텍처 담당 부사장이 25일 서울 강남구 코엑스에서 열린 ‘델 테크놀로지스 포럼 2026’ 기조연설에서 발표하고 있다. 이정완 기자.
주영표 SK하이닉스 시스템아키텍처 담당 부사장이 25일 서울 강남구 코엑스에서 열린 ‘델 테크놀로지스 포럼 2026’ 기조연설에서 발표하고 있다. 이정완 기자.

[헤럴드경제=이정완 기자] “보통 컴퓨터 아키텍처에서 시스템의 성능은 CPU(중앙처리장치), GPU(그래픽처리장치), NPU(신경망처리장치) 같은 연산기가 결정한다고 알려져 있습니다. 하지만 제 생각은 다릅니다. AI(인공지능) 시스템에선 메모리가 얼마나 많은 대역폭(Bandwidth)을 공급해주는지가 전체 시스템의 성능을 결정합니다.”

주영표 SK하이닉스 시스템아키텍처 담당 부사장은 25일 서울 강남구 코엑스에서 열린 ‘델 테크놀로지스 포럼 2026’ 기조연설에서 이 같이 강조했다. 2022년 챗GPT의 등장으로 AI 시대가 본격 도래하면서 메모리 반도체 시장이 완전히 달라졌다는 것이다.

주 부사장은 “LLM(대규모언어모델)을 정말로 사랑한다”며 “지금은 과거 650MB(메가바이트) 용량 CD(콤팩트디스크) 6~7장 데이터를 초 단위로 GPU에 전달할 정도로 어마어마한 양의 메모리를 사용한다”고 말했다.

최근 에이전트AI가 바이브 코딩까지 담당하면서 사용하는 토큰도 차원이 다르게 늘고 있단 설명이다. 주 부사장은 “전통적인 컴파일러(Complier)·런타임(Runtime) 소프트웨어는 오래 전에 만들어져 코딩 속도를 빠르게 만들기 어렵다”며 “전체 시간을 줄여 비용 효율을 높이기 위해선 초당 수십 토큰이 아니라 수백, 수천 단위 토큰이 요구된다”고 말했다.

SK하이닉스는 메모리 성능 개선으로 AI 인프라 병목을 해결하려 한다. 그동안 GPU 성능 개선에 발맞춰 메모리 대역폭 역시 비슷한 흐름으로 발전시켜왔다고 강조했다.

주 부사장은 “HBM(고대역폭메모리)1부터 시작해서 HBM4까지 10년이 조금 넘는 기간 동안 열심히 달려 좋은 성과를 내왔고 이 같은 혁신을 지속하겠다”면서도 “에이전트AI 시대로 접어들면서 HBM만으론 충분히 좋은 성능을 공급하기 어려워졌다”고 말했다.

SK하이닉스는 GPU에 메모리를 쌓아 대역폭을 끌어올릴 개선안을 연구하고 있다. 이를 기하학 문제에 비유하며 해결책을 찾고 있다.

그는 “메모리 대역폭은 지리적 여건 때문에 늘어나는데 한계가 있다”며 “GPU 위에 HBM처럼 메모리를 직접 얹으면 최근 각광 받는 S램 기반 가속기에 필적하는 대역폭을 구현할 수 있지만 가뜩이나 뜨거운 GPU의 발열을 감당하기 어렵다”고 했다. 이어 “메모리 회사·로직 반도체·NPU 회사가 노력해 이 문제를 해결하려 한다”고 덧붙였다.

에너지 효율 역시 풀어야 할 숙제다. AI는 실제 연산하는데 쓰는 에너지보다 데이터를 가져오는데 대부분을 쓰는 만큼 이동을 최소화 시켜야 한다.

주 부사장은 “데이터의 출퇴근 시간을 줄이기 위해 D램 데이터 바로 옆에서 연산을 수행하는 PIM(Processing In Memory) 연구 개발을 하고 있다”며 “에너지가 정말 적게 들어 효율은 좋지만 최근 데이터 저장 공간 확보가 대단히 중요해지면서 데이터 이동에서 에너지를 최소화하자는 개념이 이야기되고 있다”고 분위기를 전했다.

메모리 자원 활용(Utilization)도 중요한 발전 과제다. 그가 서두에 강조한 바와 같이 AI 알고리즘을 넘어 사용자와 대화하며 만드는 컨텍스트와 KV캐시(Key-Value Cache)가 AI 지능을 결정하는 요소로 떠오르고 있다.

주 부사장은 “올 초 구글 터보퀀트 알고리즘이 공개된 후 온 세상이 메모리 저장공간에 관심을 갖게 됐다”며 “자원 사용 효율성이 높아지면 수요가 오히려 커진다는 ‘제본스의 역설’은 여전히 유효하다”고 말했다.

이어 “소비자가 비싸게 구입한 GPU가 메모리가 이동하는 동안 기다려야 하는 문제를 해결하기 위해 메모리 풀링(Pooling) 기술을 접목시켰다”며 “CXL(컴퓨트익스프레스링크) 기술을 활용해 전체 시스템 성능과 비용 효율을 끌어올리려 한다”고 밝혔다.


jeongwan@heraldcorp.com