구글, 수어를 실시간 텍스트로 바꾸는 AI 공개 — 스마트폰이 통역사가 됐다

키보드 없이 말로 스마트폰을 쓰는 건 이제 익숙하시죠. 그런데 "말"이 아니라 "수어"로 스마트폰을 쓸 수 있다면 어떨까요? 이번 주 구글 딥마인드가 이걸 실제로 해내는 AI를 공개했습니다. 이름은 SL2T(Sign Language to Text). 오늘은 이 기술이 정확히 뭘 하는지, 어떻게 작동하는지, 그리고 어떤 한계가 있는지 정리해드리겠습니다.

무슨 일이 있었나

구글 딥마인드는 수어를 텍스트로 변환하는 AI 모델 'SL2T'를 공개하고, 신형 스마트폰 '픽셀11'의 키보드 앱 지보드(Gboard)와 실시간 자막 기능인 '라이브 트랜스크라이브'에 처음 적용했습니다. 청각장애인이나 난청 사용자가 스마트폰 카메라를 향해 수어를 하면, 그 동작을 실시간으로 텍스트로 바꿔주는 방식입니다.

이 기능을 쓰면 키보드를 직접 두드리지 않고도 수어로 웹 검색을 하거나, 이메일과 문자 메시지 초안을 작성하거나, 문서를 편집할 수 있습니다. 제미나이(구글의 AI 챗봇)에게 질문을 던지고 답을 받거나 특정 작업을 요청하는 것도 수어로 가능합니다. 라이브 트랜스크라이브에서는 대면 대화 중에 상대방의 말은 자막으로 보고, 내 대답은 수어로 입력하는 것도 지원됩니다. 구글은 전 세계 청각장애인·난청 인구를 약 7,000만 명으로 추산하고 있습니다.

수어를 "그냥 손짓"이 아니라 "언어"로 다뤘다

이 모델에서 가장 눈여겨볼 부분은 수어를 대하는 방식입니다. 흔히 수어를 "영어 단어를 손으로 옮긴 것" 정도로 오해하기 쉽지만, 실제로는 손과 팔의 움직임뿐 아니라 몸통의 위치, 고개와 얼굴 표정, 시선, 공간 활용까지 동시에 작동하며 독립적인 문법과 의미를 만드는 별개의 언어입니다. 한국어와 영어가 다른 언어이듯, 수어도 음성 언어와는 완전히 다른 문법 체계를 가진 언어인 셈입니다.

구글 딥마인드는 이런 특성을 반영해 SL2T를 50개 이상 수어권의 10만 시간 이상 데이터로 학습시켰습니다. 이 중 약 4분의 1가량이 미국수어(ASL) 데이터였다고 합니다. 여러 수어를 함께 학습시킨 이유는, 서로 다른 수어들 사이에도 공유되는 구조적 패턴이 있어서 이걸 함께 익히면 개별 수어를 더 잘 이해하는 데 도움이 되기 때문이라고 구글은 설명했습니다. 다만 실제 상용화 단계에서 지원하는 건 아직 미국수어를 영어 텍스트로 바꾸는 기능뿐이라, 한국수어를 포함한 다른 수어는 이번 버전에서 바로 쓸 수 있는 상태는 아닙니다.

기술적으로는 어떻게 작동하나

SL2T의 처리 방식도 흥미롭습니다. 카메라로 찍은 실제 영상을 그대로 서버에 전송하는 대신, 기기 안에서 컴퓨터 비전 모델('미디어파이프 홀리스틱')이 얼굴·손·팔·몸통의 위치를 좌표값으로 추적한 뒤, 이 좌표 정보만 클라우드로 보냅니다. 실제 영상이 외부로 나가지 않으니 더 빠르고 더 안전하다는 게 구글의 설명입니다.

또 하나 기술적으로 의미 있는 지점은, SL2T가 '글로스(gloss)'라고 불리는 중간 텍스트 주석 단계를 거치지 않고 수어 동작을 곧바로 텍스트로 변환한다는 점입니다. 기존 수어 인식 기술 상당수는 수어 동작을 먼저 단어 단위로 표기(글로스)한 뒤 이걸 다시 자연스러운 문장으로 다듬는 두 단계를 거쳤는데, SL2T는 이 중간 단계를 생략해 지연 시간을 줄였습니다. 여기에 더해 지연을 줄이는 최적화, 수어가 아닌 일상적인 움직임을 수어로 잘못 인식하는 걸 막는 환각 방지 장치, 왼손잡이나 한 손으로만 하는 수어까지 지원하는 기능도 포함됐습니다. 성능 지표로는 FLEURS-ASL이라는 벤치마크의 제로샷 평가에서 70 BLEURT 점수를 기록해, 이전에 보고된 결과를 크게 움돌았다고 회사 측은 밝혔습니다. 다만 이는 특정 벤치마크상의 자동 평가 점수이지, 실제 대화 상황에서 오류 없이 통역해낸다는 뜻은 아니라는 점은 유의할 필요가 있습니다.

한계도 분명하다

이 기술을 "수어 통역사를 대체하는 기술"로 보기엔 아직 이릅니다. 지원 언어가 미국수어·영어 조합으로 제한돼 있고, 지원 국가·지역도 초기엔 일부에 한정됩니다. 그리고 병원 진료나 법정처럼 정확한 의미 전달이 생명을 좌우할 수 있는 고위험 통역 상황에는 쓸 수 없다고 구글 스스로도 밝히고 있습니다. 현재로선 검색, 메시지 작성, 문서 편집 같은 가벼운 입력 보조 수단으로 이해하는 게 정확합니다.

왜 이 소식이 중요한가

그럼에도 이 소식이 의미 있는 이유는, 수어 인식 AI가 연구실 시연 단계를 넘어 실제로 판매되는 소비자용 스마트폰(픽셀11)에 정식 탑재됐다는 점입니다. 그동안 수어 인식 기술은 학술 논문이나 프로토타입 수준에 머무는 경우가 많았는데, 이번엔 일반 사용자가 실제로 손에 쥐고 쓸 수 있는 제품에 들어갔습니다. 접근성 기술이 "연구"에서 "상용화"로 넘어가는 속도가 생각보다 빠르다는 걸 보여주는 사례입니다.

우리에게 어떤 의미가 있을까

당장 한국어·한국수어 버전이 나온 건 아니지만, 두 가지는 눈여겨보실 만합니다. 첫째, 이런 접근성 기술이 상용화되는 속도를 보면 한국어·한국수어 버전이 나오는 것도 머지않았을 가능성이 큽니다. 둘째, 만약 사업체나 서비스를 운영하시면서 접근성을 고민하고 계시다면, "카메라로 촬영한 영상을 곧바로 텍스트나 좌표로 변환해 처리하는" 이번 SL2T의 접근 방식 자체가 참고할 만한 사례가 될 수 있습니다. 꼭 수어가 아니더라도, 사용자의 특정 입력 방식을 다른 형태로 자동 변환해주는 기능은 여러 서비스에 응용할 수 있는 아이디어니까요.

오늘의 핵심 요약

• 구글 딥마인드가 수어를 실시간 텍스트로 바꾸는 AI 모델 'SL2T'를 공개하고, 픽셀11의 지보드와 라이브 트랜스크라이브에 처음 적용했습니다.
• 수어를 손짓이 아닌 독립된 언어로 다뤄, 50개 이상 수어권의 10만 시간 이상 데이터로 학습했습니다.
• 카메라 영상 대신 얼굴·손·팔의 좌표값만 클라우드로 전송해 속도와 보안을 모두 챙겼습니다.
• 아직은 미국수어·영어 조합만 지원하며, 고위험 통역 상황에는 사용할 수 없는 초기 단계입니다.
• 접근성 기술이 연구 시연을 넘어 실제 소비자 제품에 탑재됐다는 점에서 상용화 속도가 눈에 띕니다.

다음에도 해외에서 눈여겨볼 만한 AI 소식이 있으면 이런 식으로 정리해드리겠습니다.