김영준 LG전자 인공지능연구소장 강연
로봇 파운데이션 모델 발전 방향 소개
VLA 모델 데이터 수집 제약…월드모델 등장
제조 라인서 실패 데이터 모아 복구 반복해야
[헤럴드경제=김현일 기자] 김영준 LG전자 인공지능연구소장(전무)은 29일 서울 중구 신라호텔 다이너스티홀에서 열린 ‘헤럴드 기업포럼 2026’에서 “로보틱스의 가장 큰 도전 과제 중 하나가 실제로 어떻게 경제적 효과를 이끌어 낼 수 있느냐”라며 “우리나라는 제조 라인이 잘 구축돼 있는 만큼 우리가 강점을 지닌 산업 데이터에 특화해 만들어야 경제적 효과를 볼 수 있을 것”이라고 말했다.
김 전무는 이날 ‘From Digital AI to Physical AI: 현실 세계를 이해하고 행동하는 AI’를 주제로 가진 강연에서 로봇 파운데이션 모델(Robot Foundation Model)의 발전 방향을 다뤘다.
최근 로봇 지능 구현을 위해 대규모 멀티모달 모델, 행동 기반(Action) 모델, 월드 모델(World Model), 비전-언어-행동(VLA) 모델 등 다양한 접근 방식이 제안되고 있는 가운데 김 전무는 우리나라가 지향해야 할 월드 모델을 소개했다.
김 전무는 시각적 관찰과 언어적 지시를 바로 행동으로 옮기도록 하는 VLA 모델에 대해 데이터 수집의 어려움을 지적하며 “사람이 1시간 작업하면 학습 가능한 데이터의 수율은 최고 30% 밖에 안 된다”고 말했다.
김 전무는 “예를 들어 로봇이 빨래를 갤 때 기존에 모은 데이터 말고 다른 형태로 수건이 말려 있다면 대처할 수 없다”며 “이런 문제가 생기다보니 월드 모델이 등장했다”고 설명했다.
월드 모델은 현재 상태에서 어떠한 행동을 취했을 때 물리적으로 어떻게 변할 지 시뮬레이션하는 모델이다. 로봇이 현실에서 손을 뻗기 전 여러 궤적을 미리 시뮬레이션한 후 가장 안전한 궤적을 선택하는 식이다.
월드 모델이 생성한 가상 환경에서 로봇 에이전트를 통해 다양한 시행착오를 학습하는 만큼 현실 세계 로봇이 망가질 위험은 없다.
김 전무는 “다양한 산업·가정 환경에서 로봇의 행동 결과를 예측하고, 실패 가능성을 평가하며 필요한 경우 재계획·복구하고, 그 경험을 다시 학습 데이터로 전환하는 월드 모델을 구축해야 한다”고 강조했다.
이어 “성공적인 데이터를 모으는 게 아니라 실패 데이터를 가지고 복구해야 한다는 것이 핵심”이라며 “우리나라의 강점인 제조 라인에서 실제 우리한테 도움이 되는 형태의 실수와 복구 패턴을 계속 모아 나가야 된다”고 조언했다.
아울러 월드 모델은 항상 실행하는 것이 아니라 필요한 순간에 사용하는 방향으로 나아가야 한다고 했다.
김 전무는 “항상 실행해서 로봇이 느려지게 만들지 말고 내가 필요한 것을 그때마다 잠깐씩 참고를 해서 만드는 형태의 월드 모델을 지향해야 한다”고 말했다.
joze@heraldcorp.com

