카카오 AI, 한국어 안전성 평가에서 구글·알리바바 제쳤다 — 무슨 의미일까

AI 모델 이야기가 나오면 다들 "얼마나 똑똑한지"부터 물어보시죠. 그런데 이번 주 카카오가 공개한 소식은 조금 다른 이야기입니다. 얼마나 똑똑한지가 아니라 얼마나 "안전한지"를 검증받았다는 소식인데요, 그것도 구글·알리바바 같은 글로벌 기업의 모델을 제치고 1위를 기록했다고 합니다. 오늘은 이 소식이 정확히 뭘 의미하는지, 왜 눈여겨볼 만한지 풀어드리겠습니다.

무슨 일이 있었나

카카오는 지난달 28일 경량 언어모델(SLM) '카나나-2' 시리즈 두 종(1.3B, 3B 모델)을 오픈소스로 공개했습니다. 이번 주에는 이 두 모델의 안전성 평가 결과를 발표했는데요, 유해성·편향성 등을 종합 측정한 결과 두 모델 모두 비슷한 크기의 구글 젬마(Gemma), 알리바바 큐웬(Qwen) 모델보다 높은 점수를 받았습니다.

점수로 보면 이렇습니다. 카나나-2-1.3B 모델은 0.70점을 받아 젬마(0.68), 큐웬(0.58)을 앞셀고, 3B 모델도 동일하게 0.70점으로 젬마(0.66), 큐웬(0.62)보다 높았습니다. 특히 1.3B 모델은 범죄·불법 행위 영역에서, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델들을 크게 앞셀다고 합니다.

"안전성 평가"가 정확히 뭘 재는 건가요

여기서 중요한 건 "무엇으로" 평가했느냐입니다. 이번 평가에는 'AssurAI'라는 벤치마크가 쓰였는데, 이건 과기정통부 사업으로 TTA(한국정보통신기술협회), KAIST, 카카오가 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크입니다.

왜 "한국어 특화"가 중요하냐면, 해외에서 만든 안전성 기준을 그대로 갖다 쓰면 한국 사회 특유의 맥락을 놓치는 경우가 많기 때문입니다. 예를 들어 한국어 특유의 은어나 완곡어법, 한국 사회에서 특히 민감하게 다뤄지는 주제 같은 것들은 영어 중심으로 설계된 안전성 기준에서는 제대로 걸러지지 않을 수 있습니다. AssurAI는 이런 문제를 보완하기 위해 텍스트뿐 아니라 이미지·오디오까지 포함한 멀티모달 형태로 설계됐고, 실제 AI 서비스 이용 상황부터 악의적인 프롬프트 시나리오까지 다양한 조건에서 위험 요소를 측정합니다.

평가 항목 규모도 상당합니다. 총 35개 리스크 카테고리 안에 9,560건의 평가 항목이 있고, 카카오는 이걸 다시 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 다섯 가지 대분류로 재편해 집계했습니다. 채점은 사람이 일일이 매기는 대신 'LLM-as-a-Judge' 방식, 즉 다른 AI가 정해진 기준에 따라 채점하는 방식을 써서 대규모 평가에서도 일관된 기준을 유지했다고 합니다.

왜 지금 이 소식이 중요한가

AI 모델을 만드는 회사들은 그동안 대부분 "성능" 경쟁을 벌여왔습니다. 어느 모델이 코딩을 더 잘하는지, 수학 문제를 더 잘 푸는지, 응답 속도가 얼마나 빠른지 같은 지표들이었죠. 반면 "안전성"을 정량적으로 측정하고 그 결과를 공개적으로 발표하는 사례는 상대적으로 드물었습니다.

카카오가 이번에 보여준 건, 국내 기업이 만든 오픈소스 모델이 성능이 아니라 안전성이라는 잣대에서 글로벌 빅테크 모델을 앞셀다는 사실입니다. 이건 단순히 "국산 AI가 잘 만들어졌다"는 자랑거리를 넘어, 앞으로 AI 모델을 고를 때 성능표뿐 아니라 안전성 검증 결과도 함께 봐야 한다는 흐름을 만들 수 있다는 점에서 의미가 있습니다.

카카오는 이번 평가를 일회성으로 끝내지 않겠다고 밝혔습니다. 앞으로 공개하는 자체 AI 모델마다 사전 안전성 평가를 기본으로 붙이고, 평가 범위도 텍스트 기반 언어모델을 넘어 멀티모달 모델과 에이전틱(Agentic) AI 리스크 평가 영역까지 단계적으로 넓혀갈 계획이라고 합니다.

우리에게 어떤 의미가 있을까

블로그를 읽으시는 분들 대부분이 업무에 AI를 실제로 활용하시는 입장이실 텐데요, 이 소식에서 실용적으로 챙길 만한 포인트가 두 가지 있습니다.

첫째, 사내에서 챗봇이나 자동 응답 시스템, 고객 상담 AI 같은 걸 도입할 계획이 있으시다면 어떤 모델을 쓸지 고를 때 "이 모델이 안전성 평가를 받은 적이 있는지"를 확인 항목에 넣어두시면 좋습니다. 특히 아동·청소년이 이용하는 서비스나 민감한 개인정보를 다루는 서비스라면 더더욱 중요한 기준이 됩니다.

둘째, AssurAI처럼 한국어·한국 사회 맥락에 맞춘 공개된 평가 도구가 있다는 걸 알아두시면, 나중에 자체적으로 AI 서비스를 만들 때 참고 자료로 활용하실 수 있습니다. 오픈소스로 공개된 카나나-2 모델 자체도 가볍고(1.3B, 3B는 상대적으로 작은 크기입니다) 안전성까지 검증됐다는 점에서, 소규모 프로젝트에 AI를 붙여보고 싶으신 분들껜 시도해볼 만한 선택지입니다.

오늘의 핵심 요약

• 카카오의 경량 AI 모델 '카나나-2'가 한국어 특화 안전성 평가에서 구글 젬마, 알리바바 큐웬을 제치고 종합 1위를 기록했습니다.
• 평가에는 TTA·KAIST·카카오가 공동 개발한 한국어 특화 벤치마크 'AssurAI'가 쓰였으며, 9,560건의 평가 항목으로 다섯 가지 리스크 영역을 측정했습니다.
• 카나나-2-1.3B는 0.70점으로 젬마(0.68)·큐웬(0.58)을, 3B 모델도 0.70점으로 젬마(0.66)·큐웬(0.62)을 앞셀습니다.
• 카카오는 앞으로 모든 자체 AI 모델에 사전 안전성 평가를 기본 적용하고, 멀티모달·에이전틱 AI 영역까지 평가를 확대할 계획입니다.
• AI를 도입하실 때 성능뿐 아니라 안전성 검증 여부까지 확인하는 습관을 들이시면 좋습니다.

다음에도 국내 AI 업계에서 눈여겨볼 만한 소식이 있으면 이런 식으로 정리해드리겠습니다.