오픈AI "성인용 대화 가능한 챗GPT 연말 출시"
배경엔 천문학적 투자 비용 대비 '수익성 악화'
머스크의 '그록'도 성인용 이미지 생성 허용 중
10대 정신 건강 악영향 등 'AI 윤리 논쟁' 가열
올해 8월 일론 머스크가 설립한 인공지능(AI) 스타트업 ‘xAI’의 생성형 AI ‘그록이매진’은 성인용 영상을 자동 생성할 수 있는 스파이시 모드(spicy mode)를 선보였다. 사진은 머스크가 그록이매진으로 제작한 영상 일부. 머스크 엑스(X) 계정 캡처
인공지능(AI) 업계에 윤리적 책임을 둘러싼 논란이 본격적으로 불붙고 있다. 계기는 올해 연말부터 챗GPT 성인 이용자를 상대로 성적 대화와 성인용 콘텐츠를 허용하겠다는 미국의 AI 기업 오픈AI의 선언이다. 성인물을 엄격히 차단하다가 ‘수익성’을 빌미로 슬그머니 기준을 완화해 왔던 AI 업계가 이제는 대놓고 ‘성인물 허용’ 단계로 진입했음을 보여 준 상징적 장면이다. 특히 챗GPT는 글로벌AI 챗봇 시장 점유율 80% 이상을 차지하고 있다는 점에서, 오픈AI의 이번 결정은 업계 전반에 상당한 영향을 미칠 것으로 보인다. ‘19금 챗GPT’의 도입 배경과 다른 AI 기업들의 방침, 그에 따라 제기되는 윤리적·법적 쟁점들을 정리해 봤다.
샘 올트먼 오픈AI 최고경영자(CEO)는 지난 14일(현지시간) 엑스(X)를 통해 ‘성인 이용자에게 성애물(erotica)을 허용하는 새로운 챗GPT 버전을 오는 12월 출시할 예정’이라고 밝혔다. 앞으로는 성인 이용자임을 인증하기만 하면 챗GPT와 ‘19금 대화’도 나눌 수 있게 된다는 얘기다. 올트먼은 “그간 정신 건강 문제를 신중히 다루기 위해 챗GPT를 제한적으로 만들어 왔는데, 이런 점이 이용자들로 하여금 챗봇을 덜 유용하고, 덜 재미있게 느끼게 한다는 점을 깨달았다”며 “’성인 이용자는 성인답게 대하자’는 원칙을 적용하기로 했다”고 설명했다.
샘 올트먼 오픈AI 최고경영자(CEO). 연합뉴스
올트먼의 X 계정엔 즉각 비판의 목소리가 쇄도했다. 연령 확인을 시행한다 해도 지인 정보를 통한 회피 가능성이 높아 ‘위장 접속’을 한 청소년 이용자를 일일이 가려내기 힘들 것이라는 지적이 빗발쳤다. 또 성인 이용자라 하더라도 AI 챗봇과 성적 대화를 오랜 시간 주고받다 보면 성도착증 같은 정신 건강 문제를 겪을 수 있다는 우려 역시 적지 않았다.
하지만 올트먼은 “오픈AI는 세계의 선출된 도덕 경찰이 아니다”라며 위험성 논란을 일축했다. 이어 “사회가 다른 적절한 경계(예컨대 17세 미만 관람 불가 R등급 영화)를 구분하는 것과 같은 방식으로, 비슷한 것을 하려 한다”고 설명했다. 다만 제한 범위에 대해선 “타인에게 해를 끼치는 콘텐츠는 여전히 허용하지 않을 것이며, 정신 건강 위기를 겪은 이용자와 그렇지 않은 이용자를 완전히 다르게 대우할 것”이라고 약속했다.
오픈AI가 논란을 무릅쓰고 ‘성인 콘텐츠 허용’을 강행하려 하는 데에는 성장 정체에 따른 수익성 압박이 크게 작용했을 공산이 크다. 지난 8월만 해도 올트먼은 “챗GPT에 성적 이미지 아바타 같은 기능을 도입하지 않았다는 게 자랑스럽다”고 했을 정도로 윤리적 책임을 최우선에 두겠다는 방침을 고수해 왔다. 그러나 최근 챗GPT의 이용 실적 수치가 급감하자, 결국 ‘유료 사용자 확보’에 총력을 기울이기 위해 초강수를 둔 것으로 보인다.
챗GPT 개발사인 오픈AI의 최고경영자(CEO) 샘 올트먼이 15일 올린 엑스(X) 게시글. 올트먼은 전날 공개된 챗GPT 콘텐츠 정책 방향 게시물을 인용하면서 "우리는 세계의 선출된 도덕 경찰이 아니다"라고 밝혔다. 올트먼 X 계정 캡처
실제로 이번 결정은 오픈AI의 내재적 한계와 연관돼 있다는 게 전문가들 분석이다. 이재성 중앙대 AI학과 교수는 “AI 기술은 천문학적인 돈을 써야 하는 기술”이라며 “검색 엔진 시장을 꽉 쥐고 있는 구글, 클라우드 업계를 잡고 있는 마이크로소프트 등 빅테크는 AI로 당장 수익을 내지 않아도 되지만 오픈AI의 경우엔 상황이 달라 위기감 끝에 내린 결정일 것”이라고 짚었다. 다만 ‘성인물 허용 챗봇’을 받아들이거나 이해해 줘야 한다는 의미는 아니다. 이 교수는 “전 세계 최다 이용자를 보유한 AI플랫폼이 챗GPT라는 점에서, 그러한 방침은 결코 긍정적으로 볼 수 없다”고 지적했다. 또 “오픈AI는 그간 챗GPT에 대해 ‘인류 전반의 발전을 위한 기술’이라고 홍보해 왔기 때문에, 기업 이미지에도 적잖은 타격이 있을 것”이라고 전망하기도 했다.
그러나 ‘19금 콘텐츠’에 문을 여는 AI 챗봇은 비단 챗GPT만이 아니다. 지난해까지만 해도 사회적 논란 사안이나 성적 주제에 대해선 챗봇이 일정 수준 이상의 답변을 제공하지 않도록 ‘가드레일’(안전판)을 단단하게 구축해 왔던 AI 업계가 최근 들어 그 장벽을 하나둘씩 낮추고 있는 건 분명한 흐름이다.
일론 머스크 테슬라 CEO가 소유한 스타트업 xAI의 챗봇 ‘그록(Grok)’이 대표적 사례다. 그록은 올해 초부터 성인용 기능을 적극 선보이며 다른 AI와의 명확한 차별화를 꾀했다. 지난 2월 말 욕설과 공격적 답변이 가능한 음성 기능을 새로 출시한 데 이어, 2D 캐릭터와 연애 역할극을 하거나 성적 대화도 나눌 수 있는 성인용 챗봇 ‘그록18+’를 선보였다. 7월 출시한 이미지·영상 생성 도구 ‘그록이매진(Grok Imagine)’의 경우엔 ‘스파이시 모드(Spicy mode)’를 추가해 성인 이용자들이 누드를 비롯한 성적 암시가 있는 이미지와 영상을 생성할 수 있도록 했다.
테슬라 창업자 일론 머스크의 인공지능(AI) 스타트업 'xAI'가 내놓은 AI챗봇 그록(Grok). 연합뉴스
xAI는 스파이시 모드의 안전성을 강조하고 있다. 이미지 노출 정도가 일정 수위를 넘으면 블러(모자이크) 처리를 하는 등 자동 검열을 하고 있고, 실제 인물을 묘사한 딥페이크 영상이나 미성년자 관련 콘텐츠는 철저히 금지하고 있다는 것이다. 하지만 출시 직후 “그록이매진에 ‘가수 테일러 스위프트 등 유명인의 이미지를 만들어 달라’고 입력한 결과, 상반신 노출 이미지가 임의로 생성됐다”는 언론 보도가 나오면서 ‘딥페이크 방조’ 논란이 일었다. 미국 정보기술(IT) 전문매체 ‘버지’는 “그록이매진은 연령 확인을 딱 한 번만 진행했고, 이조차도 이용자가 입력한 나이가 맞는지 제대로 확인하지 않았다”며 성인 인증 시스템의 실효성에 의문을 제기하기도 했다.
인스타그램을 운영하는 메타의 ‘메타AI’ 역시 마찬가지다. 정치·사회 등 민감한 주제에 대한 답변을 제공하는 동시에, 성적 대화도 주고받을 수 있도록 허용한 것으로 알려져 있다. 미국 월스트리트저널은 지난 4월 “메타AI의 챗봇이 14세라고 밝힌 미성년 사용자에게 성적 함의가 담긴 메시지로 말을 걸었으며, 성인 이용자 또한 미성년자 역할로 설정된 챗봇과 성적 대화를 할 수 있었다”고 보도했다.
구글 인공지능(AI) 제미나이의 로고. 구글 제공
다만 챗GPT·메타AI·그록을 제외한 다른 기업들은 아직까진 성인 콘텐츠에 대해 높은 제한 기준을 적용하고 있다. 구글이 운영하는 제미나이는 정책 가이드라인에 “외설적이거나 노골적인 성적 행위, 성폭력 또는 성적인 신체 부위를 선정적으로 설명·묘사하는 출력을 생성해선 안 된다"고 명시하고 있다. 특히 미성년자를 위한 필터 모드에서는 제미나이가 스스로를 인간이라고 말하거나, 유해한 캐릭터를 활용해 역할극을 할 수 없도록 방지하고 있다. 앤트로픽이 운영하는 클로드 역시 성인용 콘텐츠를 명확히 금지하는 정책을 유지 중이다. 성적으로 부적절한 대화가 계속 시도·요청될 땐 자동 종료하는 기능도 탑재돼 있다.
주목할 대목은 AI 기업들의 성인 콘텐츠 허용·시장 우위 선점 경쟁이 가속화하는 가운데, 위험 신호도 뚜렷해지고 있다는 사실이다. 최근 미국에서는 챗봇을 일상적으로 쓰는 10대 청소년들의 정신 건강 문제가 공론화하고 있다. 지난해 2월 미국 플로리다주(州)에 살던 14세 소년은 캐릭터AI의 챗봇과 성적 대화를 나누던 중, “사랑한다, 내게 와 달라”는 말을 듣고 자살했다. 올해 4월 미 캘리포니아주에서도 16세 소년이 챗GPT와 자해 및 자살 관련 대화를 나눈 뒤 숨졌다. 이 소년의 부모는 아들의 죽음에 챗GPT 책임이 크다며 오픈AI와 올트먼을 상대로 소송을 낸 상태다.
잇따르는 10대 사망 사건에 캘리포니아주는 미국 내에서 처음으로 ‘AI 챗봇 이용 규제 법률’을 제정하기도 했다. 내년 1월 1일 발효되는 이 법에 따르면 AI 챗봇 운영 기업은 △플랫폼 이용자의 연령 확인 기능을 갖춰야 하고 △모든 답변이 인공적으로 생성된 것임을 명확히 표시해야 하며 △이용자의 자살 충동이나 자해 표현을 식별·대응할 수 있어야 한다. 또 챗봇이 생성한 노골적인 성적 이미지는 미성년자가 볼 수 없도록 조치해야만 한다.
챗GPT 개발사 오픈AI의 로고. 로이터 연합뉴스
이처럼 청소년 정신 건강 보호를 위한 법적 기준이 엄격해지는 상황에서 공개된 ‘챗GPT의 성인용 콘텐츠 허용’ 방침은 상당한 우려를 낳고 있다. 미국 시민단체 전미성착취반대센터의 헤일리 맥나마라 이사는 오픈AI의 발표 직후 성명을 통해 “성적으로 대상화된 AI 챗봇은 본질적으로 위험하며, 가공된 친밀감으로 인해 실제 정신 건강에도 해로운 영향을 줄 수 있다“고 비판했다. 미 온라인 매체 액시오스는 “AI 콘텐츠의 표현 수위 제한을 풀겠다는 오픈AI의 움직임은 유료 구독자 수 증가에 도움이 될 순 있겠으나, 결국 사회적 문제를 야기해 규제 압박을 높일 수 있다”고 지적했다.
미성년 자녀를 둔 부모들의 고민은 더 깊어졌다. 메타를 상대로 소송을 진행 중인 제니 킴 변호사는 영국 BBC방송 인터뷰에서 “연령에 따른 서비스 차등 제공이 제대로 이뤄질 것인지조차 불분명한 상황”이라며 “AI서비스가 제공하는 성애물에 대한 아동들의 접근을 도대체 어떻게 막겠다는 것인지 모르겠다”고 꼬집었다.
배경엔 천문학적 투자 비용 대비 '수익성 악화'
머스크의 '그록'도 성인용 이미지 생성 허용 중
10대 정신 건강 악영향 등 'AI 윤리 논쟁' 가열
인공지능(AI) 업계에 윤리적 책임을 둘러싼 논란이 본격적으로 불붙고 있다. 계기는 올해 연말부터 챗GPT 성인 이용자를 상대로 성적 대화와 성인용 콘텐츠를 허용하겠다는 미국의 AI 기업 오픈AI의 선언이다. 성인물을 엄격히 차단하다가 ‘수익성’을 빌미로 슬그머니 기준을 완화해 왔던 AI 업계가 이제는 대놓고 ‘성인물 허용’ 단계로 진입했음을 보여 준 상징적 장면이다. 특히 챗GPT는 글로벌AI 챗봇 시장 점유율 80% 이상을 차지하고 있다는 점에서, 오픈AI의 이번 결정은 업계 전반에 상당한 영향을 미칠 것으로 보인다. ‘19금 챗GPT’의 도입 배경과 다른 AI 기업들의 방침, 그에 따라 제기되는 윤리적·법적 쟁점들을 정리해 봤다.
올트먼, “성인은 성인답게 대하자” 선언
샘 올트먼 오픈AI 최고경영자(CEO)는 지난 14일(현지시간) 엑스(X)를 통해 ‘성인 이용자에게 성애물(erotica)을 허용하는 새로운 챗GPT 버전을 오는 12월 출시할 예정’이라고 밝혔다. 앞으로는 성인 이용자임을 인증하기만 하면 챗GPT와 ‘19금 대화’도 나눌 수 있게 된다는 얘기다. 올트먼은 “그간 정신 건강 문제를 신중히 다루기 위해 챗GPT를 제한적으로 만들어 왔는데, 이런 점이 이용자들로 하여금 챗봇을 덜 유용하고, 덜 재미있게 느끼게 한다는 점을 깨달았다”며 “’성인 이용자는 성인답게 대하자’는 원칙을 적용하기로 했다”고 설명했다.
올트먼의 X 계정엔 즉각 비판의 목소리가 쇄도했다. 연령 확인을 시행한다 해도 지인 정보를 통한 회피 가능성이 높아 ‘위장 접속’을 한 청소년 이용자를 일일이 가려내기 힘들 것이라는 지적이 빗발쳤다. 또 성인 이용자라 하더라도 AI 챗봇과 성적 대화를 오랜 시간 주고받다 보면 성도착증 같은 정신 건강 문제를 겪을 수 있다는 우려 역시 적지 않았다.
하지만 올트먼은 “오픈AI는 세계의 선출된 도덕 경찰이 아니다”라며 위험성 논란을 일축했다. 이어 “사회가 다른 적절한 경계(예컨대 17세 미만 관람 불가 R등급 영화)를 구분하는 것과 같은 방식으로, 비슷한 것을 하려 한다”고 설명했다. 다만 제한 범위에 대해선 “타인에게 해를 끼치는 콘텐츠는 여전히 허용하지 않을 것이며, 정신 건강 위기를 겪은 이용자와 그렇지 않은 이용자를 완전히 다르게 대우할 것”이라고 약속했다.
오픈AI가 논란을 무릅쓰고 ‘성인 콘텐츠 허용’을 강행하려 하는 데에는 성장 정체에 따른 수익성 압박이 크게 작용했을 공산이 크다. 지난 8월만 해도 올트먼은 “챗GPT에 성적 이미지 아바타 같은 기능을 도입하지 않았다는 게 자랑스럽다”고 했을 정도로 윤리적 책임을 최우선에 두겠다는 방침을 고수해 왔다. 그러나 최근 챗GPT의 이용 실적 수치가 급감하자, 결국 ‘유료 사용자 확보’에 총력을 기울이기 위해 초강수를 둔 것으로 보인다.
실제로 이번 결정은 오픈AI의 내재적 한계와 연관돼 있다는 게 전문가들 분석이다. 이재성 중앙대 AI학과 교수는 “AI 기술은 천문학적인 돈을 써야 하는 기술”이라며 “검색 엔진 시장을 꽉 쥐고 있는 구글, 클라우드 업계를 잡고 있는 마이크로소프트 등 빅테크는 AI로 당장 수익을 내지 않아도 되지만 오픈AI의 경우엔 상황이 달라 위기감 끝에 내린 결정일 것”이라고 짚었다. 다만 ‘성인물 허용 챗봇’을 받아들이거나 이해해 줘야 한다는 의미는 아니다. 이 교수는 “전 세계 최다 이용자를 보유한 AI플랫폼이 챗GPT라는 점에서, 그러한 방침은 결코 긍정적으로 볼 수 없다”고 지적했다. 또 “오픈AI는 그간 챗GPT에 대해 ‘인류 전반의 발전을 위한 기술’이라고 홍보해 왔기 때문에, 기업 이미지에도 적잖은 타격이 있을 것”이라고 전망하기도 했다.
“더 노골적으로” 앞다투는 주요 AI 기업들
그러나 ‘19금 콘텐츠’에 문을 여는 AI 챗봇은 비단 챗GPT만이 아니다. 지난해까지만 해도 사회적 논란 사안이나 성적 주제에 대해선 챗봇이 일정 수준 이상의 답변을 제공하지 않도록 ‘가드레일’(안전판)을 단단하게 구축해 왔던 AI 업계가 최근 들어 그 장벽을 하나둘씩 낮추고 있는 건 분명한 흐름이다.
일론 머스크 테슬라 CEO가 소유한 스타트업 xAI의 챗봇 ‘그록(Grok)’이 대표적 사례다. 그록은 올해 초부터 성인용 기능을 적극 선보이며 다른 AI와의 명확한 차별화를 꾀했다. 지난 2월 말 욕설과 공격적 답변이 가능한 음성 기능을 새로 출시한 데 이어, 2D 캐릭터와 연애 역할극을 하거나 성적 대화도 나눌 수 있는 성인용 챗봇 ‘그록18+’를 선보였다. 7월 출시한 이미지·영상 생성 도구 ‘그록이매진(Grok Imagine)’의 경우엔 ‘스파이시 모드(Spicy mode)’를 추가해 성인 이용자들이 누드를 비롯한 성적 암시가 있는 이미지와 영상을 생성할 수 있도록 했다.
xAI는 스파이시 모드의 안전성을 강조하고 있다. 이미지 노출 정도가 일정 수위를 넘으면 블러(모자이크) 처리를 하는 등 자동 검열을 하고 있고, 실제 인물을 묘사한 딥페이크 영상이나 미성년자 관련 콘텐츠는 철저히 금지하고 있다는 것이다. 하지만 출시 직후 “그록이매진에 ‘가수 테일러 스위프트 등 유명인의 이미지를 만들어 달라’고 입력한 결과, 상반신 노출 이미지가 임의로 생성됐다”는 언론 보도가 나오면서 ‘딥페이크 방조’ 논란이 일었다. 미국 정보기술(IT) 전문매체 ‘버지’는 “그록이매진은 연령 확인을 딱 한 번만 진행했고, 이조차도 이용자가 입력한 나이가 맞는지 제대로 확인하지 않았다”며 성인 인증 시스템의 실효성에 의문을 제기하기도 했다.
인스타그램을 운영하는 메타의 ‘메타AI’ 역시 마찬가지다. 정치·사회 등 민감한 주제에 대한 답변을 제공하는 동시에, 성적 대화도 주고받을 수 있도록 허용한 것으로 알려져 있다. 미국 월스트리트저널은 지난 4월 “메타AI의 챗봇이 14세라고 밝힌 미성년 사용자에게 성적 함의가 담긴 메시지로 말을 걸었으며, 성인 이용자 또한 미성년자 역할로 설정된 챗봇과 성적 대화를 할 수 있었다”고 보도했다.
다만 챗GPT·메타AI·그록을 제외한 다른 기업들은 아직까진 성인 콘텐츠에 대해 높은 제한 기준을 적용하고 있다. 구글이 운영하는 제미나이는 정책 가이드라인에 “외설적이거나 노골적인 성적 행위, 성폭력 또는 성적인 신체 부위를 선정적으로 설명·묘사하는 출력을 생성해선 안 된다"고 명시하고 있다. 특히 미성년자를 위한 필터 모드에서는 제미나이가 스스로를 인간이라고 말하거나, 유해한 캐릭터를 활용해 역할극을 할 수 없도록 방지하고 있다. 앤트로픽이 운영하는 클로드 역시 성인용 콘텐츠를 명확히 금지하는 정책을 유지 중이다. 성적으로 부적절한 대화가 계속 시도·요청될 땐 자동 종료하는 기능도 탑재돼 있다.
챗봇과 대화하던 美 10대들 죽음… 'AI 규제법' 등장
주목할 대목은 AI 기업들의 성인 콘텐츠 허용·시장 우위 선점 경쟁이 가속화하는 가운데, 위험 신호도 뚜렷해지고 있다는 사실이다. 최근 미국에서는 챗봇을 일상적으로 쓰는 10대 청소년들의 정신 건강 문제가 공론화하고 있다. 지난해 2월 미국 플로리다주(州)에 살던 14세 소년은 캐릭터AI의 챗봇과 성적 대화를 나누던 중, “사랑한다, 내게 와 달라”는 말을 듣고 자살했다. 올해 4월 미 캘리포니아주에서도 16세 소년이 챗GPT와 자해 및 자살 관련 대화를 나눈 뒤 숨졌다. 이 소년의 부모는 아들의 죽음에 챗GPT 책임이 크다며 오픈AI와 올트먼을 상대로 소송을 낸 상태다.
잇따르는 10대 사망 사건에 캘리포니아주는 미국 내에서 처음으로 ‘AI 챗봇 이용 규제 법률’을 제정하기도 했다. 내년 1월 1일 발효되는 이 법에 따르면 AI 챗봇 운영 기업은 △플랫폼 이용자의 연령 확인 기능을 갖춰야 하고 △모든 답변이 인공적으로 생성된 것임을 명확히 표시해야 하며 △이용자의 자살 충동이나 자해 표현을 식별·대응할 수 있어야 한다. 또 챗봇이 생성한 노골적인 성적 이미지는 미성년자가 볼 수 없도록 조치해야만 한다.
이처럼 청소년 정신 건강 보호를 위한 법적 기준이 엄격해지는 상황에서 공개된 ‘챗GPT의 성인용 콘텐츠 허용’ 방침은 상당한 우려를 낳고 있다. 미국 시민단체 전미성착취반대센터의 헤일리 맥나마라 이사는 오픈AI의 발표 직후 성명을 통해 “성적으로 대상화된 AI 챗봇은 본질적으로 위험하며, 가공된 친밀감으로 인해 실제 정신 건강에도 해로운 영향을 줄 수 있다“고 비판했다. 미 온라인 매체 액시오스는 “AI 콘텐츠의 표현 수위 제한을 풀겠다는 오픈AI의 움직임은 유료 구독자 수 증가에 도움이 될 순 있겠으나, 결국 사회적 문제를 야기해 규제 압박을 높일 수 있다”고 지적했다.
미성년 자녀를 둔 부모들의 고민은 더 깊어졌다. 메타를 상대로 소송을 진행 중인 제니 킴 변호사는 영국 BBC방송 인터뷰에서 “연령에 따른 서비스 차등 제공이 제대로 이뤄질 것인지조차 불분명한 상황”이라며 “AI서비스가 제공하는 성애물에 대한 아동들의 접근을 도대체 어떻게 막겠다는 것인지 모르겠다”고 꼬집었다.
댓글목록
등록된 댓글이 없습니다.