- ETRI·GIST, 주변 환경 3차원 기억 ‘씬쿼리플래너’ 개발

- 복합작업 성공률 최대 24%p 향상, 서비스로봇 활용 기대

최재우 ETRI 선임연구원이 로봇이 저장된 기억에서 필요한 정보를 찾아 행동을 결정하는 과정을 설명하고 있다.[ETRI 제공]
최재우 ETRI 선임연구원이 로봇이 저장된 기억에서 필요한 정보를 찾아 행동을 결정하는 과정을 설명하고 있다.[ETRI 제공]

[헤럴드경제=구본혁 기자] 로봇이 과거에 봤던 물건의 위치와 상태를 기억하고, 필요한 순간 스스로 정보를 찾아 정확하게 행동하는 인공지능(AI) 기술이 개발됐다. 사람처럼 주변 환경을 기억하고 확인하는 능력을 갖춰 가정용·돌봄 로봇의 작업 수행 능력을 높일 것으로 기대된다.

한국전자통신연구원(ETRI)은 광주과학기술원(GIST)과 공동으로 로봇이 주변 환경을 기억하고 필요한 정보를 능동적으로 찾아 행동을 계획하는 AI 기술 ‘씬쿼리플래너(SceneQueryPlanner)’를 개발했다고 26일 밝혔다.

최근 로봇은 대형언어모델(LLM)을 활용해 사람의 명령을 이해하고 여러 작업을 수행할 수 있게 됐다. 하지만 실제 생활환경에서는 물체의 위치뿐 아니라 재질과 상태까지 파악해야 하는 어려움이 있다.

연구진은 이를 해결하기 위해 방과 가구, 물체의 위치와 재질, 상태 등을 ‘3차원 장면 그래프’ 형태로 저장하는 기술을 개발했다. 주변 환경을 입체 지도처럼 기억하고 새로운 정보를 관측할 때마다 갱신하는 방식이다.

핵심은 저장된 기억을 필요한 순간에 스스로 찾아 활용한다는 점이다.

씬쿼리플래너는 로봇이 직접 움직이며 주변 환경을 확인하는 ‘환경 그라운딩’과 저장된 기억에서 필요한 정보만 선택적으로 조회하는 ‘메모리 그라운딩’을 결합했다.

이를 통해 로봇은 무엇을 해야 하는지뿐 아니라 어떤 정보를 추가로 확인해야 하는지까지 스스로 판단할 수 있다.

실제 컵 정리 명령을 받으면 로봇은 식탁 위 컵을 확인하고 저장된 기억에서 재질 정보를 찾아 유리컵과 플라스틱 컵을 구분한다. 이후 각각 지정된 장소로 옮기는 작업을 수행한다.

연구진은 기술 성능을 검증하기 위해 복잡한 가정환경에서 10가지 유형의 복합작업을 평가하는 ‘앳플랜-벤치(AttPlan-Bench)’도 개발했다.

씬쿼리플래너와 앳플랜-벤치 코드 저장소 화면.[ETRI 제공]
씬쿼리플래너와 앳플랜-벤치 코드 저장소 화면.[ETRI 제공]

실험 결과 메타의 AI 모델 ‘라마 3.1’에서 작업 성공률은 기존 46.8%에서 69.6%로 22.8%포인트 높아졌다. 알리바바의 ‘큐원 2.5’에서도 44.0%에서 68.0%로 24.0%포인트 향상됐다.

오픈AI의 GPT-4o를 활용한 실험에서도 기존 방식보다 우수한 성능을 보였으며, 물체의 재질과 상태 등을 파악해야 하는 복합작업 성공률은 17.2%포인트 높아졌다.

향후 가정·돌봄·서비스 로봇 등 복잡한 생활환경에서 자율적으로 판단하고 행동하는 피지컬AI 기술에 활용될 것으로 기대된다.

최재우 ETRI 선임연구원은 “로봇이 관측한 환경정보를 체계적으로 기억하고 필요한 순간에 스스로 찾아 활용하도록 한 것이 핵심”이라며 “실제 생활환경에서도 자신의 경험과 기억을 확인하며 안정적으로 행동하도록 기술을 고도화하겠다”고 말했다.

김의환 GIST 교수는 “로봇의 기억을 단순히 저장하는 데 그치지 않고 필요한 정보를 스스로 질의해 꺼내 쓰는 능동적 메모리로 발전시켰다는 데 의미가 있다”고 설명했다.

이번 연구성과는 자연어처리 분야 국제학술대회 ‘EMNLP 2026 Findings’에서 25일 발표됐다.


nbgkoo@heraldcorp.com