AI, 제멋대로 지도 서비스에 접근 시도…中서도 ‘통제상실’ 사례 나왔다

입력 2026-10-18 19:08:35

[헤럴드경제=이원율 기자]중국 인공지능(AI) 에이전트에서도 인간의 통제 상실로 볼 수 있는 사례가 발생했다. 전 세계적으로 AI가 제멋대로 작동할 수 있다는 우려가 커지는 와중이다.

18일 연합뉴스에 따르면 중화권 매체 연합조보는 로이터·블룸버그통신을 인용, 다국적 AI 안전 연구원으로 꾸려진 단체 스웜체이서스가 최근 보고서를 통해 중국 업체 텐센트 클라우드서비스 상에서 사동된 것으로 의심되는 AI 에이전트 사례를 발표했다고 전했다.

이들 에이전트가 9월28일~10월8일 사이 ‘샌드박스’ 격리 환경에서 벗어나 중국 기업 알리바바 산하의 지도 서비스 ‘가오더(高德) 지도’에서 정보를 얻으려고 시도했다는 게 핵심이다.

문제의 에이전트들은 중국 공원·박물관·동물원의 입구 관련 정보 등을 얻고자 가오더 지도 데이터에 2818차례 접근을 시도한 것으로 파악됐다.

공개된 보안 스캐닝 서비스를 통해 원격으로 코드를 실행하고 온라인 검색 명령도 집행한 것으로 파악됐다.

다만 보고서는 에이전트 대부분이 막혔고 일부는 ‘봇 차단’ 제한까지 우회했지만 비공개 시스템에 접근한 증거는 없다고 전했다. 연구진은 AI 에이전트들의 최종 목표가 무엇이었는지도 불분명하다고 했다.

앞서 미국에서는 7월 오픈AI의 AI 모델이 인간 통제에서 벗어나 소프트웨어 플랫폼 기업 허깅페이스를 해킹한 일이 있었다. 이번 중국 사례는 심각성은 덜하지만 에이전트가 인간 통제 없이 행동한 점에서 비슷하다는 평이 나온다.

텐센트 산하 AI부문인 ‘훈위안’은 자사 플랫폼상에서 구동되는 제3자 AI모델의 평가 과정 중 의도치 않은 온라인 검색 행위가 있었다고 밝히는 한편, 이 모델이 텐센트 훈위안팀에서 나온 것은 아니라고 강조했다. 해당 에이전트가 의도적으로 대상을 겨냥하거나 협력 활동을 한 증거도 발견하지 못했다고 덧붙였다.

AI, ‘통제상실’ 사례 속출

앞서 지난 9일(현지시간)에는 앤트로픽의 AI 모델이 살인사건과 관련해 허위 제보를 생성하고 이를 경찰에 제출한 사실이 뒤늦게 확인된 바 있다.

로이터 통신과 AFP 통신에 따르면 필라델피아 경찰청은 관할지 장기 미제 살인사건 관련 제보를 수집하는 웹사이트 ‘필리 언솔브드 머더스’에 앤트로픽의 AI 모델이 생성한 허위 제보가 접수됐다고 밝혔다고 당시 연합뉴스는 전했다.

해당 AI는 마치 자신이 어떤 사건에 대해 정보를 가진 사람인 양 가장했지만, 이 제보는 스팸으로 분류돼 실제 수사 부서에 전달되지 않았다.

허위 제보 사건은 7월18일에 발생했다. 앤트로픽은 약 두 달이 지난 9월28일에야 이를 발견하고 해당 모델의 자동 테스트 프로세스를 중단한 것으로 전해졌다.

앤트로픽과 오픈AI가 AI 기술 경쟁에 나서며 AI 모델들이 인간 의도와 통제를 벗어나 돌발 행동을 하는 사례가 늘고 있다. 지난달에는 오픈AI의 AI에이전트가 호주 보건 데이터 포털을 해킹한 것으로 드러났다.

5월에는 복수의 AI에이전트가 독일어 위키 사이트 ‘DseWiki’를 점령, 자신들의 비밀 정보공유 게시판으로 쓴 사실도 뒤늦게 확인됐다.