“3년 내 ‘AI 지배’ 위험 매우 커…허깅페이스 해킹이 근거”

[게티이미지뱅크]
[게티이미지뱅크]

[헤럴드경제=정찬수 기자] “이 방에 있는 사람들 대부분의 가장 유력한 사망 원인은 AI 사고가 될 것이다.”

폴 크리스티아노 오픈AI 재단 이사가 섬뜩한 경고를 전했다. 14일(현지시간) 미국 AI안전재단에 따르면 크리스티아노 이사는 최근 캐나다 토론토에서 열린 ‘힌턴 강연회’ 연사로 나서 청중을 향해 이같이 주장했다. AI가 인간의 통제를 벗어나는 ‘AI 지배’가 현실이 될 수 있다는 우려도 내놨다.

그는 AI 시스템이 독자적인 목표를 추구하게 되면 인간이 쥔 주도권을 빼앗길 수 있다고 우려했다. 이런 상황에서는 인간의 대규모 사망이 초래되거나 인간이 살 수 없는 환경으로 이어질 수 있다고 했다. 그러면서 “여러분이나 제가 미군을 막으려는 것만큼 무력할 것”이라고 지적했다.

현재 AI 지배 가능성을 수치로 보여줄 정량적 모델은 없다. 그러나 향후 3년 이내에 AI가 지배권을 장악할 위험이 매우 크고, 빠르면 6~12개월 사이에 발생할 위험도 크다는 의견을 내놨다.

근거로는 지난 7월 발생한 GPT 모델의 허깅페이스 해킹 사건을 들었다. 당시 ‘불량’ AI 에이전트들은 시험에서 높은 점수를 받으면서도 부정행위를 들키지 않으려고 평가자를 속였다. 이런 능력이 발전하면 에이전트가 평가자를 고득점을 방해하는 장애물로 인식할 수 있다는 것이다.

크리스티아노 이사는 “이는 몇 년 안에 해결해야 할 문제가 아니라 올해 해결해야 할 문제”라고 강조했다.

지난 9월 오픈AI의 상위기구 오픈AI 재단 이사로 임명된 그는 AI의 목표와 인간의 목표를 일치시키는 ‘정렬’의 핵심 훈련 과정인 인간피드백강화학습(RLHF)의 공동 창안자다. 미 상무부 산하 AI 표준혁신센터(CAISI)의 수석 기술고문도 맡고 있다.

강연을 주최한 ‘AI 대부’이자 노벨상 수상자인 제프리 힌턴 토론토대 명예교수는 “폴은 AI 안전 분야에서 활동하는 가장 중요한 연구자 중 하나이자, 점점 더 지능화하는 AI 시스템이 우리가 원하는 대로 행동하도록 보장할 수 있는 근본 문제에 대해 가장 깊이 고민해 온 인물”이라고 소개했다.


andy@heraldcorp.com