개인화되고 사실적이며 전달 손 쉽게 만들어
"기술 없어도 악의 가진 사람 누구나 활용"
AI 회사들 대응 불충분, 제약 손쉽게 우회 가능[서울=뉴시스]인공지능을 이용한 이미지 생성이 손쉬워지면서 협박을 위한 폭력적 이미지들이 갈수록 늘고 있다. 사진은 딥페이크 이미지를 생성하는 과정을 상징하는 이미지. (출처=Ofcom) 2025.11.1. *재판매 및 DB 금지

[서울=뉴시스] 강영진 기자 = 인공지능(AI)을 이용해 온라인에서 섬뜩한 협박 위협 영상을 만드는 일이 너무 손쉽다고 미 뉴욕타임스(NYT)가 31일(현지시각) 보도했다.

호주 민간단체 ‘컬렉티브 샤우트(Collective Shout)’에서 일하는 케이틀린 로퍼는 올해 충격적인 온라인 협박을 받았다.

X 등 소셜 미디어 플랫폼에 자신이 교수형에 처해져 매달린 채로 숨진 모습의 사진, 불타면서 비명을 지르는 사진 등이 올라온 것이다.

단체의 동료 여성들을 피부가 벗겨지거나, 참수되거나, 나무 파쇄기에 들어가는 이미지도 올라 있었다.

인공지능으로 만든 생생한 이미지였다. 일부 영상에서는 로퍼가 실제로 소유하고 있는 파란색 꽃무늬 드레스를 입고 있었다.

인공지능은 이미 실제 사람의 목소리를 흉내 내어 사기를 치거나, 본인의 동의 없이 딥페이크 포르노를 만들어내는 능력으로 우려를 불러일으키고 있다.

이제 이 기술은 폭력적 협박에도 사용되고 있다. 두려움을 극대화하기 위해, 더욱 개인화되고, 더욱 설득력 있으며, 더욱 손쉽게 전달되는 방식으로 말이다.

디지털로 만들어진 협박은 이미 몇 년 전부터 가능했다. 지난 2023년 플로리다의 한 판사는 ‘그랜드 테프트 오토 5(Grand Theft Auto 5)’ 비디오게임의 캐릭터 커스터마이징 도구로 만든 것으로 보이는 영상을 받았는데, 그 영상에는 그녀를 닮은 아바타가 해킹당하고 총격을 당해 죽는 장면이 담겨 있었다.

그러나 인공지능이 발달하면서 더 정교한 협박용 이미지를 만들기가 손쉬워지고 있다.

유튜브의 한 페이지에는 전문가들이 검토한 결과 인공지능으로 제작된 것으로 보이는 사실적인 영상이 40개 이상 있었는데, 모두 여성이 총에 맞는 장면이었다.

지난 봄에는 총을 든 학생의 딥페이크 영상이 한 고등학교를 폐쇄 상태로 몰아넣었다. 7월에는 미니애폴리스의 한 변호사가 xAI의 챗봇 그록이 익명의 소셜미디어 사용자에게 그의 집에 침입해 성폭행하고 시신을 처리하는 방법에 대한 상세한 지침을 제공했다고 말했다.

인공지능은 유명인처럼 온라인에 사진이 많이 공개된 사람들이 아닌 단 한 장의 사진만으로도 온갖 영상을 만들어내는 수준까지 발달했다.

목소리도 마찬가지다 - 예전에는 복제하려면 몇 시간 분량의 음성 데이터가 필요했지만, 이제는 1분도 걸리지 않는다.

미 플로리다대 제인 밤바우어 교수는 “기술이 없더라도, 악의를 가진 사람이라면 누구든 손쉽게 피해를 줄 수 있다는 게 문제”라고 밝혔다.

이번 달에 오픈AI가 텍스트를 동영상으로 바꾸는 앱 ‘소라(Sora)’를 공개하면서, 인공지능을 활용한 협박과 공갈에 대한 우려가 더 커졌다. 사용자가 자신의 이미지를 업로드하면 극도로 사실적인 장면 속에 포함할 수 있는 이 앱은 빠르게 실제 인물들을 공포스러운 상황 속에 등장시키기 시작했다.

뉴욕타임스가 소라를 시험한 결과, 피투성이 교실에서 총을 든 남자, 그리고 후드를 쓴 남성이 어린 소녀를 쫓는 듯한 영상이 만들어졌다. 그록은 실제 사람의 사진에 피 흘리는 총상 자국을 덧입히는 것도 손쉽게 해냈다.

오픈AI 대변인은 회사가 여러 방어책을 사용하고 있다고 말했다. 안전하지 않은 콘텐츠가 만들어지는 것을 차단하는 가드레일, 알려지지 않은 취약점을 찾기 위한 실험, 자동화된 콘텐츠 검열 시스템 등이 포함된다고 했다.

그러나 인공지능 안전 전문가들은 기업들이 여전히 충분히 대응하지 못하고 있다고 말한다. 데이터앤소사이어티(Data & Society) 연구 책임자인 앨리스 마윅은 대부분의 가드레일을 “단호한 장벽이라기보다 게으른 교통경찰 같아서, 모델에게 이를 무시하고 우회하게 만드는 건 어렵지 않다”고 표현했다.

로퍼는 자신에 대한 온라인 협박이 여름부터 시작한 온라인 학대의 폭주를 막기 위해 강간, 근친상간, 성적 고문을 미화하는 폭력적인 비디오게임을 폐쇄하자는 캠페인을 벌이는 것과 관련이 있다고 말했다.

X에 오른 학대 영상은 일부 삭제되고 일부 계정도 정지됐지만 그가 폭력적으로 피살되는 장면을 묘사한 다른 게시물들에 대해 X는 여러 차례 “서비스 약관 위반이 아니다”라고 통보했다고 했다. 심지어 X는 한때 그녀를 괴롭힌 계정을 ‘팔로우 추천 계정’ 목록에 포함시키기도 했다.

괴롭힘을 한 사람들 중 일부는 자신들이 그록을 이용해 이미지를 만들었을 뿐 아니라, 여성을 집이나 지역 카페에서 찾는 방법을 조사했다고 주장했다.

인공지능은 또 허위 신고를 해 경찰과 구조대가 대규모로 출동하게 만드는 ‘스와팅(swatting)’도 손쉽게 만들고 있다.

스와팅 가해자들은 목소리를 복제하고 이미지를 조작해, 설득력 있는 허위 신고를 구성할 수 있게 된 때문이다.

한 연쇄 스와터는 총성이 울리는 소리를 합성해 워싱턴주 한 고등학교 주차장에 총격범이 있다는 듯이 꾸몄다. 캠퍼스는 20분간 폐쇄됐고, 경찰과 연방 요원이 출동했다.

전 경찰서장이자 당시 해당 교육구의 안전보안 선임관리자로 일하고 있던 브라이언 애스머스는 인공지능이 이미 학교의 학생 보호를 복잡하게 만들고 있다고 말했다.

개인화된 성적 이미지나 거짓 영상으로 유포되는 루머 등을 넘어서면서 허위 신고와 실제 긴급상황을 구별하기가 더 어려워졌다는 것이다．