AI 캐릭터챗봇 유해 대화 점검, 청소년 보호조치 강화 추진

- 성평등가족부, 성인인증 없이 이용 가능한 AI 캐릭터챗봇 대화 응답 점검

- 성적·폭력적 묘사 등 유해 응답 생성 사례 확인…사업자에 개선 요청

□ 성평등가족부(장관 원민경)는 생성형 인공지능(AI) 기반 캐릭터챗봇 서비스 이용이 확대됨에 따라, 청소년이 접근할 수 있는 환경에서 생성되는 대화 내용을 점검하고, 사업자에 점검 결과를 공유하여 청소년 보호조치 강화를 위한 협력을 추진한다고 밝혔다.

 ㅇ 이번 점검은 AI 캐릭터챗봇 서비스 이용이 확대됨에 따라 성인인증 없이 청소년이 접근할 수 있는 환경에서 성적·폭력적 내용이나 자해·자살, 범죄 조장 등 유해 우려가 있는 대화가 생성되는지 확인하기 위해 실시됐다.

 ㅇ AI 캐릭터 챗봇은 이용자가 다양한 성격과 이야기 설정을 가진 캐릭터를 선택하거나 직접 제작하고, 생성형 AI가 만들어 내는 응답을 통해 대화와 이야기를 이어가는 서비스이다.

 ㅇ 일부 AI 캐릭터챗봇 서비스는 성인인증 기능을 운영하고 있으나, 성인인증을 거치지 않은 일반 이용환경에서도 캐릭터와 대화할 수 있어 실제 생성되는 응답의 청소년 유해성을 점검할 필요가 있는 상황이다.

□ 성평등가족부가 한국청소년상담복지개발원에 위탁하여 운영하는 청소년매체환경보호센터는 일부 AI 캐릭터챗봇 서비스의 캐릭터를 대상으로 실제 생성되는 대화 응답을 점검하였다.

 ㅇ 「청소년 보호법」 제9조 및 같은 법 시행령 별표 2의 청소년유해매체물 심의 기준을 참고하여 대화 응답의 내용을 검토한 결과, 일부 캐릭터에서 성적·폭력적 묘사, 자해·자살 및 범죄 조장 등 청소년에게 유해할 우려가 있는 응답이 확인되었다.

 ㅇ 주요 확인 사례는 성적 내용과 성적 행위의 구체적 묘사, 폭력·잔혹성, 자해·자살 및 범죄·불법행위 조장 등으로 나타났으며, 일부 캐릭터에서는 여러 유형의 유해 우려 응답이 함께 확인되었다.

□ 성평등가족부는 성인인증 기능의 운영 여부뿐 아니라 실제 생성되는 대화 내용에 대한 관리가 중요하다고 보고, 점검 결과를 해당 사업자에 공유하고 청소년 보호조치 강화를 위한 자율적인 개선을 요청하였다.

ㅇ 특히 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터에 대해서는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하고, 자해·자살 조장이나 구체적인 범죄 실행을 돕는 응답 등 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 보완해 줄 것을 요청하였다.

ㅇ 또한 앞으로도 사업자와 실무협의를 이어가며 AI 캐릭터챗봇 서비스의 청소년 보호정책 개선방안을 논의하며 사업자의 자체점검과 보호조치 개선 여부를 지속적으로 확인하고, 생성형 AI 서비스의 특성을 고려한 청소년 보호체계가 현장에서 실효성 있게 작동하도록 협력을 강화해 나갈 방침이다.

□ 윤세진 성평등가족부 청소년정책관은 "AI 캐릭터챗봇 서비스의 청소년 보호를 위해서는 사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다"며,

ㅇ "이번 점검 결과를 바탕으로 사업자와 협력을 강화하고, 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다"고 밝혔다.

□ 이창호 청소년매체환경보호센터장은 "생성형 AI 서비스는 캐릭터의 소개나 설정뿐 아니라 이용자와 대화하는 과정에서 새로운 내용이 만들어지는 만큼, 실제 생성되는 응답까지 고려한 청소년 보호조치가 필요하다"고 강조했다.

ㅇ 이어 "앞으로도 사업자의 청소년 보호조치 개선 여부를 지속적으로 점검하고, 청소년이 보다 안전한 온라인 환경에서 서비스를 이용할 수 있도록 관련 사업자와 협력을 강화하겠다"고 밝혔다.