임의철 SK하이닉스 메모리솔루션담당 부사장이 12일 서울 중구 신라호텔 다이너스티홀에서 열린 ‘헤럴드 기업포럼 2023’에 참석해 ‘생성형 AI의 효율적 처리를 위한 반도체 기술’을 주제로 강연하고 있다. 임세준 기자

“챗GPT 같은 거대 언어 모델(Large Language Model)이 광풍을 일으키고 있는 가운데, 문제는 기존의 그래픽처리장치(GPU)를 사용하면 어마어마한 전력이 든다는 점입니다. SK하이닉스가 개발한 ‘AiMX’는 최신 GPU 시스템 대비 13배의 성능을 제공할 수 있고, 에너지 소모량은 17%까지 줄여 실시간 생성형 인공지능(AI) 응용 서비스에 최적의 솔루션이 될 것입니다.”

임의철 SK하이닉스 메모리솔루션담당 부사장은 12일 서울 중구 신라호텔 다이너스티홀에서 개최된 ‘헤럴드 기업포럼 2023’에서 ‘생성형 AI의 효율적 처리를 위한 반도체 기술’이란 주제로 강연을 열고 이같이 밝혔다.

AiMX는 생성형 AI와 같은 거대 언어 모델(Large Language Model)에 특화된 가속기 카드다. SK하이닉스는 지난달 미국 캘리포니아에서 열린 ‘AI 하드웨어 & 에지 AI 서밋 2023’에서 처음으로 시제품을 공개했다. 앞서 SK하이닉스는 지난해 2월 메모리 반도체에 연산 기능을 접목한 차세대 기술 PIM이 적용된 GDDR6-AiM을 개발한 바 있다. AiMX는 GDDR6-AiM을 여러 개 연결해 성능을 한층 개선했다.

임의철 부사장은 “챗GPT 같은 AI 챗봇은 거대 언어 모델이라는 혁신 기술을 기반으로 한다”며 “많은 사람들이 AI 챗봇 서비스에 열광하면서, 얼리어댑터(Early Adopter)들의 시장에서 주류 시장으로 이동하고 있다”고 말했다.

그러면서 “하지만 서비스 운영에 엄청난 양의 전기료 등 때문에 기존 검색 서비스에 비해 100배 이상 높은 운영 비용이 든다”며 “이를 해결하기 위해 최신 GPU 시스템보다 낮은 비용으로, 서비스 지연 시간을 줄일 수 있는 AiM 기반 가속기 시스템을 제안한다”고 말했다.

임 부사장은 AI 챗봇의 성능이 메모리 반도체 성능에 의해 좌우된다고 강조했다.

그는 “AI 챗봇 서비스는 기존 검색 서비스보다 훨씬 더 데이터 인텐시브(집약적)이고 메모리 집약적”이라며 “답변을 할 때마다 한번 쓴 데이터를 다시 사용할 수 없는 알고리즘이기 때문에 메모리 성능이 떨어지면 좋은 퍼포먼스를 낼 수 없다”고 말했다.

AI 챗봇은 응답 하나를 만들기 위해 수많은 데이터를 읽고 처리해야 한다. 때문에 아무리 최신의 GPU를 쓰더라도 메모리 성능이 뒷받침 되지 않으면 응답 시간이 지연된다는 의미다.

임 부사장은 “최신 GPU 시스템의 경우 1개 단어를 처리하는데 23ms(1ms=1000분의 1초), 261개의 단어를 처리하는데 6초 가량의 지연 시간이 필요해 매우 느리다”며 “GPU는 AI 챗봇의 답변 생성과와 같은 메모리 집약적인 워크로드 처리에 효율적이지 않다”고 말했다.

이어 “엄청 비싼 고성능의 GPU를 탑재해도 오직 0.3%의 성능만을 사용할 수밖에 없어 전력 낭비가 크다”고도 덧붙였다.

임 부사장은 SK하이닉스의 AiM은 생성형 AI처리에 최적의 옵션이라고 강조했다.

그는 “AiM을 탑재하면 서비스 응답 시간을 0.46초로, 기존 GPU 시스템보다 약 13.3배 줄일 수 있어 완전히 다른 고객경험을 제공할 수 있다”며 “동시에 에너지 소모량은 GPU의 5분의 1, 약 17%까지 감소해 막대한 운영비를 절감할 수 있다”고 말했다.

AiMX가 기존 시스템에서 많은 부분을 변경할 필요 없이 비교적 간단하게 적용할 수 있다는 점도 강조했다.

임 부사장은 “기존 액셀러레이터(가속기)의 메모리를 AiM으로 교체하는 것이 아니라 AiM 가속기 카드를 만들어서 AI 서버에 꽂으면 된다”며 “기존 중앙처리장치(CPU)나 GPU, 가속기 등을 수정할 필요가 없고 소프트웨어 수정도 최소화할 수 있다”고 말했다.

마지막으로 임 부사장은 AiM 제품을 각 고객사가 원하는 맞춤형으로 공급하기 위한 스페셜티(Specialty)를 전략도 공개했다.

임 부사장은 “미래에는 결국 메모리와 컴퓨팅을 합치는 방향이 될 것”이라며 “SK하이닉스에서도 미래를 위해서 다양한 스페셜티 제품에 대해 기획하고 연구하고 있다”고 말했다.

김민지 기자