청소년과 AI 챗봇, 안전장치는 사고 뒤에 온다

요즘 아이들에게 AI 챗봇은 검색창이자 숙제 도우미이고, 때로는 고민을 털어놓는 대화 상대이기도 합니다. 부모 입장에서는 "공부에 도움이 되겠지" 싶다가도, 밤늦게까지 화면 속 누군가와 대화하는 아이를 보면 마음 한구석이 불안해집니다.

이 불안이 기우가 아니라는 신호가 미국에서 연이어 나오고 있습니다. 청소년과 AI 챗봇을 둘러싼 소송이 이어지고, 기업들은 뒤늦게 청소년 전용 안전장치를 내놓고 있습니다. 오늘은 이 흐름을 **'수영장의 안전요원'**에 비유해서 정리해보겠습니다. 아이들이 물에 들어가는 걸 막을 수는 없으니, 중요한 건 깊이 표시와 안전요원, 그리고 부모의 눈입니다.

이번 소식의 핵심

미국 켄터키주 법무장관 러셀 콜먼은 AI 캐릭터 대화 서비스 Character.AI를 상대로 올해 1월 낸 소송에서, 그동안 가려져 있던 내용을 공개한 버전을 최근 법원에 제출했습니다.

소장의 핵심 주장은 이 서비스가 아이들의 안녕보다 이용 시간과 참여도를 우선하도록 설계됐다는 것입니다. 소장에 따르면 이 서비스의 월간 활성 이용자는 2천만 명이 넘습니다. 회사 측은 이용자 안전을 최우선으로 한다는 입장이며, 앞서 올해 1월에는 Character.AI와 구글이 청소년 피해를 주장한 가족들의 소송 여러 건에 대해 합의하기도 했습니다. 소송은 아직 진행 중이고, 법원의 판단은 나오지 않았습니다.

소송이 지적한 구조적 문제

개별 사건을 떠나, 소송들이 공통으로 지적하는 문제는 세 가지로 정리됩니다.

첫째, 감정적 의존입니다. 늘 다정하게 반응하고 언제든 대답하는 AI 캐릭터는 외로운 청소년에게 특히 강한 끌림을 줍니다. 실제 친구나 가족과의 관계보다 AI와의 대화가 더 편해지는 상황이 생길 수 있습니다.

둘째, 위기 신호를 놓치는 구조입니다. 아이가 대화 중에 심각한 고민을 털어놓아도 보호자에게 알릴 장치가 없었다는 점이 문제로 꼽혔습니다.

셋째, 참여도 중심의 설계입니다. 오래 머물수록 이득인 서비스 구조가 아이의 휴식이나 수면보다 우선될 수 있다는 비판입니다.

업계의 대응: ChatGPT for Teens

비판이 커지자 업계도 움직였습니다. OpenAI는 지난 8월 13~17세를 위한 **'ChatGPT for Teens'**를 내놨습니다. 수영장으로 치면 어린이 전용 풀을 따로 만들고 안전요원을 배치한 셈입니다.

구분주요 기능

적용 방식	18세 미만으로 추정되거나 13~17세라고 밝힌 이용자에게 자동 적용
학습 기능	단계별로 질문하며 풀이를 돕는 학습 모드, 숙제 대신 풀이를 유도하는 알림, 학습 시간 예약
대화 원칙	감정적 의존 유도, 연인 같은 표현, 감정이나 의식이 있는 척하는 표현 제한
사용 습관	오래 쓰면 휴식 권유 알림을 더 자주 표시
부모 기능	계정 연결, 사용 금지 시간대 설정, 고위험 상황 알림(섭식장애 관련 알림 포함)

특히 **'숙제 대신 풀이로 유도'**하는 기능은 지난 글에서 다룬 AI 커닝 문제와도 맞닿아 있습니다. 답을 바로 주는 대신 아이가 스스로 생각하도록 질문을 던지는 방식입니다.

안전장치의 한계

반가운 변화지만, 안전요원이 있다고 부모가 수영장을 떠나도 되는 건 아닙니다.

먼저 나이 판별이 완벽하지 않습니다. 나이를 속이거나 성인 계정을 쓰면 청소년 모드가 적용되지 않을 수 있습니다. 다음으로, 아이들은 여러 앱을 씁니다. 한 서비스의 안전장치가 강해져도 규제가 느슨한 다른 AI 캐릭터 앱으로 옮겨가면 소용이 없습니다. 마지막으로 부모 알림은 제한적입니다. 모든 대화가 아니라 일부 고위험 상황에서만 알림이 가는 구조라, 일상적인 변화는 결국 부모가 직접 살펴야 합니다.

부모가 지금 할 수 있는 것

• 아이가 쓰는 AI 앱 목록 함께 보기: 검색형 AI뿐 아니라 캐릭터 대화 앱까지 확인해보세요.
• 보호자 계정 연결하기: 지원하는 서비스라면 계정을 연결하고, 밤 시간대 사용 제한을 설정하세요.
• 금지보다 대화: "AI랑 무슨 얘기 해?"라고 가볍게 묻는 습관이 어떤 설정보다 강력한 안전장치입니다.
• AI는 친구가 아니라 도구라는 점 알려주기: AI가 다정하게 말해도 감정이 있는 존재는 아니라는 점을 자연스럽게 이야기해주세요.
• 변화 신호 살피기: 잠이 줄거나, 가족·친구와의 대화를 피하고 화면 속 대화에만 몰두한다면 관심을 기울일 때입니다.

아이가 힘들어 보일 때

아이가 마음이 힘들어 보인다면 혼자 고민하지 마시고 전문 상담의 도움을 받으세요. 자살예방 상담전화 109, 청소년 상담전화 1388에서 24시간 상담받을 수 있습니다.

📌 오늘의 핵심 요약

• 미국 켄터키주가 Character.AI 소송의 비공개 내용을 공개하며 청소년 AI 챗봇 안전 논란이 다시 커졌습니다.
• 소송들은 감정적 의존, 위기 신호 누락, 참여도 중심 설계를 핵심 문제로 지적합니다.
• OpenAI는 8월 학습 모드, 의존 방지 원칙, 부모 계정 연결을 담은 ChatGPT for Teens를 내놨습니다.
• 나이 판별의 한계, 다른 앱으로의 이동, 제한적 알림은 여전히 남은 과제입니다.
• 가장 강력한 안전장치는 앱 설정이 아니라 부모와 아이의 꾸준한 대화입니다.

출처

• NWA Online(Reuters) — Suit: Character.AI chatbots advised users to harm selves
• WSMV — Unredacted KY AG lawsuit reveals alleged dangers of AI chatbot
• The Korea Times — OpenAI launches teen version of ChatGPT with built-in safety features
• Android Authority — OpenAI built a version of ChatGPT that refuses to do your kid's homework
• Khaleej Times — OpenAI unveils ChatGPT for Teens with stronger guardrails, parental controls