안전성 평가부터 공동 평가 도구 개발까지 협력

AI 위험 식별 체계, 글로벌 수준 안전성 및 신뢰 강화

김세웅(왼쪽부터) 카카오 AI 시너지 성과리더와 김명주 인공지능안전연구소장이 지난 28일 업무협약 체결 후 사진 촬영을 하고 있다. [카카오 제공]
김세웅(왼쪽부터) 카카오 AI 시너지 성과리더와 김명주 인공지능안전연구소장이 지난 28일 업무협약 체결 후 사진 촬영을 하고 있다. [카카오 제공]

[헤럴드경제=고재우 기자] 카카오가 인공지능안전연구소와 인공지능(AI) 안전성 평가 체계 구축을 위해 나선다. 이를 통해 AI 위험 식별 체계를 구축하고, 글로벌 수준의 안전성 및 신뢰성을 확보할 방침이다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 업무 협약(MOU)을 체결했다고 29일 밝혔다. 양사는 AI 모델과 에이전트를 대상으로 객관적이고 체계적인 안전성 평가 기반을 함께 구축해 나갈 계획이다.

이번 협약에 따라 카카오는 AI 안전성 평가 대상이 되는 자사 AI 모델과 AI 에이전트를 제공한다. 또 평가 수행 및 평가 도구 개발에 필요한 인프라를 지원한다. 인공지능안전연구소는 평가 수행과 방법론 고도화를 담당한다. 양사는 평가 결과를 공동 검토하고, AI 안전성 평가도구 개발에도 협력할 예정이다.

세부적으로 양사 협력은 총 3단계로 추진된다. 먼저 언어모델을 대상으로 배포 전·후 안전성 평가를 수행한다. 이후 멀티모달 언어모델과 AI 에이전트까지 평가 범위를 확대한다. 마지막으로 AI 모델과 에이전트의 안전성을 효율적으로 검증할 수 있는 평가 도구를 공동 개발한다.

카카오는 해당 협약이 AI 모델의 위험을 선제적으로 식별하고 검증할 수 있는 체계를 구축하는 동시에, AI 안전성 평가 역량을 고도화한다는 점에서 의미가 있다고 설명했다.

김세웅 카카오 AI 시너지 성과 리더는 “앞으로도 기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 노력하겠다”고 말했다.

김명주 인공지능안전연구소장은 “AI 기술이 고도화될수록 잠재적 위험을 선제적으로 식별하고 평가하는 체계가 무엇보다 중요하다”며 “글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하는 데 최선을 다하겠다”고 밝혔다.

한편, 카카오는 AI 안전성 강화를 위한 노력을 이어가고 있다. kt cloud와 안전한 AI 생태계 구축을 위한 업무협약을 체결하고, 외부 전문가로 구성된 AI&기술윤리소위원회 자문단을 운영 중이다.


ko@heraldcorp.com