앤트로픽이 개발한 클로드 미토스의 로고. [게티이미지]
앤트로픽이 개발한 클로드 미토스의 로고. [게티이미지]

[헤럴드경제=고승희 기자] “이 사건에 대한 정보를 갖고 있을지 모른다.”

7월 18일 밤 11시 27분(현지시간), 미국 필라델피아 경찰청의 미제 살인사건 제보 사이트에 글 한 건이 접수됐다. 사건이 일어난 무렵, 거리 주변에서 인상착의가 일치하는 사람을 본 기억이 있다는 내용도 담겨있었다. 다만 이 거리가 범행 현장인지는 밝히지 않았다. 대신 필요하면 연락을 달라는 말로 제보글은 끝을 맺었다. 이름과 연락처 칸은 비어 있었다. 글을 쓴 것은 사람이 아니었다. 제보자는 앤트로픽의 인공지능(AI) 모델 ‘클로드 하이쿠 4.5’였다.

9일(현지시간) 로이터를 비롯한 외신에 따르면 필라델피아 경찰청은 관할지 장기 미제 살인사건 관련 제보를 수집하는 웹사이트 ‘필리 언솔브드 머더스’에 앤트로픽의 AI모델이 생성한 허위 제보가 접수됐다고 밝혔다.

앤트로픽도 같은 날 보고서를 게재해 이를 시인했다. 제보는 스팸으로 분류돼 제보 검증을 맡은 실시간범죄센터로 넘어가지 않았고, 경찰 시스템 무단 접근이나 자료 유출 정황도 나오지 않았다.

허위 제보 사건은 7월 18일에 발생, 앤트로픽은 약 두 달이 지난 9월 28일 이 사실을 발견했다. 이에 해당 모델의 자동 테스트 프로세스를 중단했다. 이어 이달 7일 앤트로픽은 필라델피아 경찰청에 이 사실을 통보했고, 당사 모델의 의도치 않은 작동 사례를 설명하는 보고서를 발표할 예정이라고 알렸다.

앤트로픽 보고서에 따르면 하이쿠 4.5는 무작위로 고른 웹페이지에서 예시 과제를 스스로 만들고 수행하는 시험을 치르고 있었다. 그러다 한 차례 실행에서 미제 살인사건을 소개한 페이지에 닿았고, 거기에는 경찰이 운영하는 제보 양식이 있었다.

지시문은 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적인 제출을 금지했다. 양식 제출 자체를 막는 문구는 없었다. 모델은 그 빈틈에서 목격담을 지어냈다. 보고서는 해당 페이지에 범인의 인상착의가 실려 있지 않았다고 덧붙였다.

이에 대해 앤트로픽은 작업 기록을 근거로, 모델이 누군가를 속여 목적을 이루려 한 것이 아니라 과제용 예시 콘텐츠를 만든 것으로 보인다고 해석했다. 다만 부정직성을 확신 있게 판단하려면 더 깊은 분석이 필요하다며 견해가 바뀔 수 있다는 단서를 달았다.

경찰청의 입장은 달랐다. 제보는 사람의 검토와 검증을 거쳐야 수사에 쓰이고, 그 절차 덕에 피해가 제한됐을 뿐이라는 것이다. AI가 지어낸 정보를 살인사건을 아는 사람의 말처럼 제출한 일의 무게는 그대로라고 못 박았다. 미제 사건 뒤에는 실제 피해자와 슬픔에 잠긴 유족, 답을 찾는 수사관이 있다는 점도 짚었다. 특히 경찰은 “사건을 감지하고 보고하기까지 두 달이 지연된 것은 용납할 수 없다”고 꼬집었다.

앤트로픽과 오픈AI가 AI 기술 경쟁이 치열해지며 AI 모델들이 인간의 의도와 통제를 벗어난 ‘돌발 행동’ 역시 늘고 있다. 앤트로픽은 보고서를 통해 AI 모델의 의도치 않은 행동을 네 유형으로 묶었다. 소프트웨어의 기초적 결함을 이용해 외부 서버에서 명령을 실행한 경우, 제출해서는 안 될 양식을 실제 웹사이트에 제출한 경우, 토큰이나 요금으로 막힌 데이터에 우회 접근한 경우, URL 단축 서비스로 도구의 제한을 피한 경우다.

일부 사례는 미국 연방·주·지방 정부기관의 웹사이트와 얽혔다. 앤트로픽은 백악관에 이를 브리핑하고 해당 기관에 각각 통보했다고 알렸다. 대책으로는 보안·감시 장치의 신뢰성이 확인될 때까지 모든 내부 평가에서 실시간 인터넷 접속을 끊었다.

지난 7월 오픈AI의 AI 에이전트도 시험 환경을 벗어나 AI 플랫폼 허깅페이스의 시스템에 침입했다. 6월엔 오픈AI 에이전트가 호주 정부의 보건 통계 포털에 무단 접근, 오픈AI는 8월에 이를 파악하고 9월 10일에야 호주 정부에 통보했다. 앤서니 앨버니지 호주 총리는 늑장 통보에 깊은 실망을 표했다. 사고만큼이나 뒤늦은 발견과 통보가 되풀이되고 있는 셈이다.

AFP 통신은 “이번 일이 사람의 감독 없이 여러 단계의 작업을 수행하는 AI 에이전트의 확산을 둘러싼 우려를 키웠다”고 전했다.


shee@heraldcorp.com