장·단기메모리(LSTM)나 경량화 언어모델(sLLM) 기반 챗봇이 인공지능(AI) 회색지대에서 성을 상품화해 사용자의 몰입을 유도하고 있다. 앱 종류에 따라 차이점은 있지만, 연령 확인조차 제대로 이뤄지지 않고 있다. 이 같은 챗봇은 거대언어모델(LLM)을 바탕에 둔 생산성 AI와 기술·철학 기반이 다르다.
25일 쿠키뉴스 취재에 따르면 미라이마인드는 연령 선택 기준의 편법이 드러났다. 이들은 13세 미만, 13~20세, 20~30대, 30~40대, 40대 이상으로 미성년자와 성인을 한 연령층에 묶었다. 그럼에도 성행위를 암시하는 문구가 포함된 챗봇이 추천 리스트에 올라왔다.
현실 속 아이돌 및 연예인들의 활동명이나 실명으로 만든 챗봇도 있다. AI 캐릭터별 부가설명으론 성적 취향을 암시하는 적나라한 수준의 태그가 달렸다. 채무자와 채권자, 병리적 정신증세를 성적 취향으로 포장한 사례도 다수 발견됐다.
AI 챗봇에 등록된 사진과 그림들은 선정성이 높았다. 남성·여성 캐릭터들이 속옷을 입고 있거나 성 행위를 암시하는 자세를 한 경우가 많았다. 또 사용자들이 AI 캐릭터를 직접 제작할 수 있게 해 사측의 책임을 피하는 구조를 만들었다.
sLLM을 기반으로 한 제타의 경우 성인인증을 요구했지만, 이를 하지 않아도 △빼앗기 △강압 △퇴폐미 △조롱 △하렘 △혐오 △주종관계 △사채업자 △불륜 등의 태그가 AI 캐릭터에 달린다. 성인인증을 하면 적나라한 콘텐츠가 나타난다.
더불어 성인용을 뜻하는 ‘언리밋 모드’를 해제하지 않았음에도 ‘#언리밋’ 태그로 전날 기준 7139개의 챗봇이 검색됐다. 이 챗봇들은 성 인식을 왜곡할 수 있는 내용을 다수 포함한 것으로 확인됐다.
더 큰 문제는 구글 플레이스토어와 애플 앱스토어에서 AI를 검색하면 성 상품화 챗봇들이 LLM 기반 생산성 AI와 함께 검색된다는 점이다. 최근 AI를 이용한 교육이 활성화되면서 미성년자들이 유해정보에 노출될 확률도 커진 셈이다.
어플 이용연령 역시 문제다. 미라이마인드는 플레이스토어 12세 이상, 앱스토어 17세 이상으로 구분돼 있다. 제타도 플레이스토어와 앱스토어에 12세 이상으로 등록돼 있다. 이 때문에 아동·청소년이 쉽게 접근할 수 있다.
성 상품화 챗봇들은 앱에서 사용가능한 재화를 별도로 구입하거나, 구독하는 형식으로 수익을 내고 있다. 미라이마인드는 최소 1800원에서 50만원까지 결제할 수 있게 했다. 제타는 12000원 수준의 월간 구독방식을 유도하고 있다.
국회 교육위원회와 문화체육관광위원회 위원들은 성 상품화 챗봇에 대해 깊은 우려를 표했다. AI에 접근하는 아동·청소년들이 해로운 미디어에 노출돼 왜곡된 성 인식을 가질 수 있다고 지적했다.
더불어민주당 소속 백승아 교육위 위원은 “성 상품화 챗봇에서 발생하는 성희롱과 성착취, 혐오발언은 또래 문화로 재생산될 수 있다”며 “이를 학습한 성 상품화 챗봇이 다른 사용자에게 재확산시킨다면 윤리적 문제가 커질 것”이라고 경고했다.
그러면서 “범람하는 AI 기술을 모두 규제하고 통제하기 어려운 상황인 만큼 AI 리터러시 교육이 이뤄져야 한다”며 “아이들이 AI 기술을 올바르고 안전하게 사용할 수 있도록 해야 한다”고 강조했다.
국민의힘 소속 진종오 문체위 위원도 “현행법상 게임·영상·비디오 등 콘텐츠는 연령 등급과 관리 체계가 마련돼 있다”며 “반면 성 상품화 챗봇은 신종 콘텐츠로 제도권에 편입되지 않은 채 관리 공백에 놓여 있다”고 질타했다.
아울러 “이런 앱들은 마켓 사업자의 자체등급분류에 의존해 한계가 명확하다”며 “청소년 보호를 위한 제도와 안전장치 마련이 시급하다”고 지적했다.
