AI 연산 효율 높이는 ‘토큰 최적화’ 공동 연구

온디바이스 AI 이어 서버 환경으로 협력 확대

테크 세미나 공동 개최…파트너와 기술 논의

이상엽(왼쪽) LG유플러스 CTO와 이재호 옵트에이아이 대표가 토큰 최적화 협력과 관련해 기념 촬영하는 모습. [LG유플러스 제공]
이상엽(왼쪽) LG유플러스 CTO와 이재호 옵트에이아이 대표가 토큰 최적화 협력과 관련해 기념 촬영하는 모습. [LG유플러스 제공]

[헤럴드경제=차민주 기자] LG유플러스가 인공지능(AI) 모델 최적화 전문기업 옵트에이아이와 손잡고 AI ‘토큰 최적화’ 기술을 고도화한다. 그래픽처리장치(GPU)에서 처리하는 토큰량을 기존 대비 최대 4배 높인 성과를 바탕으로, 온디바이스 AI에 이어 서버 환경까지 공동 연구 범위를 확대한다.

2일 LG유플러스는 옵트에이아이와 함께 AI 운영 효율을 높이는 토큰 최적화 기술 확보에 나선다고 밝혔다. 토큰은 AI가 이용자의 질문을 이해하고, 답변을 생성할 때 처리하는 데이터의 기본 단위다. AI 모델의 연산 과정을 효율화해, 같은 자원으로 더 많은 요청을 처리할 수 있도록 하는 기술을 토큰 최적화라 부른다.

LG유플러스에 따르면 최근 AI 산업에서 적은 자원으로 높은 성능을 구현하는 기술이 경쟁력을 좌우하는 요소로 떠오르고 있다. AI 서비스가 확산하면서 GPU, 전력 등 비용이 늘어난 데 따른 흐름이다.

양사는 각 사가 보유한 역량을 결합해, AI 서비스 운영에 필요한 비용을 줄이면서도 서비스 품질을 높인단 목표다. 구체적으로 LG유플러스는 AI 서비스 운영 경험을 바탕으로 토큰 최적화 기술 검증과 적용을 담당할 예정이다. 옵트에이아이는 AI 모델을 더 가볍고 빠르게 구동하는 기술 연구와 개발을 맡는다.

앞서 양사는 스마트폰 등 기기 자체에서 AI를 구동하는 온디바이스 AI 분야에서 협력해 왔다. LG유플러스는 ‘엑사원(EXAONE)’ 기반 소형언어모델(sLM)에 모델의 연산량과 크기를 줄이는 경량화 기술을 적용, 스마트폰의 AI 전용 반도체인 신경망처리장치(NPU)에서 구동할 수 있도록 했다. 그 결과 기존 중앙처리장치(CPU) 방식과 같은 수준의 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄였다.

아울러 양사는 지난 1일 ‘이피션트 AI 테크 세미나’를 공동 개최하고 AI 운영 효율화 기술의 최신 연구 동향과 산업 적용 사례를 공유했다. 행사에는 AI 반도체 기업 퓨리오사AI, AI 플랫폼 기업 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산·학·연 전문가가 참여했다.

양사는 이번 기술 교류를 계기로 서버 GPU 환경까지 공동 연구 범위를 확대한다. 같은 GPU 자원으로 더 많은 요청을 처리할 수 있도록 AI 모델의 연산 과정을 효율화하는 기술을 연구할 계획이다.

LG유플러스는 현재 연구 초기 성과가 나타나고 있다고 설명했다. 양사는 AI 모델이 답변을 생성하는 연산 과정을 서비스 환경에 맞게 개선해, 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 성과를 거뒀다.

양사는 향후 확보한 기술을 LG유플러스 AI 서비스와 대규모 AI 인프라 운영 환경에 적용해 AI 운영 효율을 높일 계획이다.

이상엽 LG유플러스 최고기술책임자(CTO)는 “AI 경쟁력은 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 처리할 수 있느냐에 달렸다”며 “옵트에이아이를 비롯한 파트너와 협력해 토큰 최적화 기술 연구를 확대하고, 실제 서비스에 적용할 수 있는 성과를 만들겠다”고 말했다.

이재호 옵트에이아이 대표는 “생성형 AI 시대에는 높은 성능만큼이나 운영 효율을 확보하는 것이 중요해지고 있다”며 “LG유플러스와 함께 서비스 환경에서 검증할 수 있는 AI 최적화 기술을 고도화하고 AI 산업의 효율성 향상에 이바지하겠다”고 말했다.


chami@heraldcorp.com