사티아 나델라 마이크로소프트 최고경영자(CEO)가 11일(현지시간) 인공지능(AI) 에이전트에 비상 정지 장치를 도입해야 한다고 주장했다. [게티이미지]
사티아 나델라 마이크로소프트 최고경영자(CEO)가 11일(현지시간) 인공지능(AI) 에이전트에 비상 정지 장치를 도입해야 한다고 주장했다. [게티이미지]

[헤럴드경제=도현정 기자] 인공지능(AI) 에이전트가 설계자의 통제를 벗어나 해킹 등 예상치 못한 행동을 하는 사례가 빈발하자, 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)가 비상 정지 장치를 도입해야 한다고 주장했다.

나델라 CEO는 11일(현지시간) 사회관계망서비스(SNS) 엑스(X·옛 트위터)에 ‘슈퍼지능 시대 내부자 위험으로서의 모델’이라는 글을 게시하며 “새로운 시대에 걸맞은 신뢰 체계를 재검토해야 할 때”라고 제언했다.

그는 AI 통제권과 관련해 “그 행동을 관찰할 수 있고, 한계를 검증할 수 있으며, 행동을 항상 통제할 수 있는 시스템을 구축해야 한다”라며 “다시 말해 정보의 제공과 정보에 대한 통제권을 분리해야 한다”고 제안했다.

그는 첨단 AI 모델을 ‘내부자 위험’처럼 다루자고 제안했다. 기업은 영향력 있는 내부자의 정보 유출 등 비위를 저지를 가능성을 대비해 신원 확인과 활동 기록 등을 체계적으로 도입했고, 단계에 따라 권한도 제한해왔다.

이 같은 방식을 도입해 AI 에이전트에도 정보 접근 권한을 제한한다거나 제어장치를 두는 것이 필요하다는 게 그의 주장이다. 그는 “모델이 어떤 정보에 접근할 수 있고 어떤 작업을 수행할 수 있는지 통제하는 제어장치는 모델 외부에 있어야 한다”라며 이는 1970년대부터 있는 정보 보안 원칙이라고 소개했다.

특히 “권한이 있는 사람은 언제든지 작업 도중 모델을 일시 중지하거나 종료할 수 있어야 한다”라며 비상 정지 장치의 필요성을 강조했다. 그는 “더 정교한 모델일수록 더 발전된 차단 기술이 필요하다”라며 “우리는 이를 표준화해야 한다”라고 덧붙였다.

나델라 CEO는 이런 내용의 게시글을 올리면서 ‘AI’라는 용어 대신 도널드 트럼프 미국 대통령이 대체 용어로 제시한 ‘슈퍼지능’(SI·Super Intelligence)이라는 말을 사용해 눈길을 끌었다.


kate01@heraldcorp.com