딥페이크-성범죄
파트: 디지털 성범죄 / 기계 학습 / 생성형 인공지능
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
목차
1. 간략하게...
2. 역사
2.1. AI 기술 등장 이전
2.2. AI 기술 등장 이후
3. 단어의 정의
4. 상세 및 현황
5. 사례
5.1. 서울대학교 허위 음란물 제작 유포 사건
5.2. 2024년 텔레그램 딥페이크 음란물 유포 사건
이 포스팅에는 자세한 내용은 없는데 처음 접하는 분들이 이해는 하실 수 있고 사례에 링크를 걸어 두겠음 |
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
1. 간략하게,,,
딥페이크의 오용과 폐해 중 성범죄에 대한 부분을 한번 알아 보겠습니다.
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
2. 역사
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
2.1. AI 기술 등장 이전
사실 AI 등장 이전에도 포토샵 등을 이용한 고전적인 합성 방식의 성범죄는 존재했다. 스타크래프트의 옷벗기기 유즈맵 역시 이에 해당하는 대표적 사례이다.
2013년 드라마 별에서 온 그대에서도 PC방에서 남자 청소년들이 작중 연예인인 천송이의 얼굴을 비키니에 합성하는 모습이 나왔는데, 당시 시대상에서도 흔한 범죄였음을 반영한다.
2013년부터 남초사이트인 소라넷 내 연예인 합성 카페 '아이돌 페이크(Idol Fake)' 카페에서 연예인들의 나체 사진을 합성하는 일들을 전문적으로 했으며, EXID의 하니등이 피해자가 되었다. 주로 여자 연예인을 대상으로 실존 인물과 음란물을 합성하였으며, 심지어는 일반인 여성들을 대상으로도 범죄를 저질렀다. 해당 카페 운영자는 2016년에 체포되었다. A
2012년에 한 부녀자가 빅뱅의 탑을 게이 동영상에 합성한 사진을 트위터에 올리거나 B C, 2016년에도 부녀자 블로거가 방탄소년단 멤버들을 게이 키스 사진에 합성해 알페스로 엮은 사진등이 올라오기도 하였다. D
2016년부터는 자기 주변 지인을 대상으로 한 일명 '지인 능욕'이라는 범죄가 성행하면서 피해 대상이 연예인, 유명인이 아닌 일반인으로 까지 확대되기 시작하였다. E
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
2.2. AI 기술 등장 이후
2017년 말, 'deepfakes' 라는 닉네임의 Reddit 사용자가 특정 사람의 얼굴을 학습한 뒤 다른 동영상의 얼굴에 바꿔치기 하는 기술을 공개하였고, 개발자의 닉네임을 따 처음으로 '딥페이크'라는 용어가 탄생하였다. 당연히 이 기술은 탄생한 직후 유명인들의 얼굴을 포르노에 합성하는 등 빠르게 악용되었다.
2022년부터 생성형 AI의 발달로 실사와 구분이 불가능한 고화질, 고품질의 AI 이미지 생성이 가능해졌다. 물론 대부분의 서비스들은 성적인 프롬프트를 금지하는 등의 필터링이 되어있지만 유저가 직접 모델을 설치하는 Stable Diffusion 등에서는 아무런 제약이 없기 때문에 실존 인물의 얼굴로 실사 나체 사진을 만드는 등 디지털 성범죄에 악용되기도 하였다.
이 경우 ① 특정인의 얼굴을 학습한 Lora 모델을 사용해 아예 얼굴, 몸, 배경 포함 모든 이미지를 전체적으로 AI가 생성해내거나, 아니면 이미지에서 특정 영역을 지정하고 지정된 영역만 AI가 덧칠해 채우는 inpaint 방식이 쓰이는데 이 경우도 ② 다른 사람의 나체 사진에 얼굴만 Inpaint 해서 원하는 인물로 바꿔치기 하거나, ③ 원하는 인물의 정상적인 사진에 옷 부분만 Inpaint 해서 몸 부분만 AI가 나체로 생성해 덧붙이는 방식 등이 쓰인다.
이중 ①②의 경우 특정인의 얼굴을 학습시키기 위해 다량의 사진과 시간이 소요되기 때문에 이미 얼굴 모델이 많이 나와 있는 유명인이 아니라면 잘 쓰이지 않고, 반면 사람의 나체는 이미 학습된 모델이 많기 때문에 보통은 ③ 방식으로 자주 사용되는 편이다.
단순 영상, 이미지뿐만 아니라 목소리를 학습시켜 원하는 말을 내뱉게 하는 방식으로 성적인 발언이나 신음 소리 등을 합성하는 오디오 딥페이크(딥보이스)도 존재한다. 일찍이 부녀자들 세계에서 유행했던 알페스의 일종인 '섹테'도 이와 유사한 결인데, 이 경우는 목소리가 비슷하게 들리는 게이 야동에서 신음을 따와 만드는 고전적인 방식이지만 현재는 AI를 활용해 당사자의 목소리로 직접 이를 가능케 된 것이다.
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
3. 단어의 정의
사실 현 시점에서는 '딥페이크'라는 용어가 더 이상 2017년에 개발된 '딥페이크'라는 기술명만을 의미하지는 않게 되었다. 딥페이크(기술명)이란 다량의 사진으로 특정인의 얼굴을 학습시킨 후, 특정 실사 동영상에서 얼굴만 바꿔치기 하는 원리지만 현재는 생성형 AI의 Inpaint 기능처럼 사진의 일부 혹은 전체를 생성된 이미지로 채워 넣는 방식 등 다른 방식이나 원리의 AI로도 합성 성범죄를 하는 사례가 많아졌기 때문이다.
굳이 따지자면 딥페이크는 동영상용, 생성형 AI는 사진용 이라는 차이점이 있지만 이제는 '딥페이크'란 단어가 AI 모델이나 작동 방식을 따지지 않고 특정인을 대상으로 가짜 이미지/동영상을 AI로 생성해내는 행위 일체를 통칭하는 의미로 확장되었다.
심지어 AI 등장 이후로도 지식과 여건 부족 등의 이유로 AI를 활용하기 어려운 사람들은 여전히 포토샵 등 고전적인 합성방식을 이용하기도 하는데, 이러한 비AI 합성 성범죄도 일각에선 크게 구분하지 않고 '딥페이크'라고 같이 묶어 일컫는 경우가 많은걸 보면 AI가 사용 되었냐 와는 관계없이 실존 인물을 대상으로 합성을 하는 행위 일체를 뜻하는 고유명사화가 되었다고도 볼 수 있다.
이는 기존에 실존 인물을 음란물로 합성하는 행위만을 가리키는 용어가 없었던 탓에 '딥페이크'가 일종의 이런 행위 전반을 가리키는 신조어가 되었다고 볼 수 있다. 사실 포샵을 사용 했냐 AI를 사용 했냐, 어떤 프로그램과 어떤 모델을 사용 했냐의 여부는 그걸 만드는 가해자한테나 중요한 사항이지 피해자 입장에선 다 똑같은 피해기 때문에 굳이 생성 원리를 구분 하는 게 무의미하기 때문.
정리하자면 다음과 같이 구분 가능하다.
초기 의미
2017년 레딧 유저에 의해 개발된, 특정인의 다각도 얼굴을 여러 장으로 학습시킨 뒤 특정 실사 동영상에 해당 얼굴로 바꿔치기 하는 기술. (동영상 용)
범용 의미
AI의 모델이나 생성 원리를 따지지 않고, AI를 사용하여 특정 인물을 대상으로 하여 실제와 구분이 불가능한 가짜 미디어를 생성하는 행위 일체, 또는 그렇게 생성된 자료. (동영상, 이미지, 오디오 모두 포함)
확장 의미
AI를 사용 했는 지와 관계없이 특정 인물을 대상으로 한 합성물이나 조작된 가짜 미디어. (포토샵 등 고전적 합성방식 포함)
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
4. 상세 및 현황
아직은 싸고 조악한 수준의 영상들이 많아서 대부분 가짜임을 짐작할 수 있지만 영상의 화질이나 처리되는 데이터의 질에 따라 딥페이크 영상과 원본영상의 구분이 어려울 정도로 발전하는 추세이며, 특히나 유명인들은 온라인에 공개된 리소스의 양이 당연히 많으므로 영상 합성이 용이하기 때문에 딥페이크 포르노의 탄생에 크게 일조하였다. 특히 다수의 포르노 사이트, 트위터와 같이 접근성이 높은 사이트에도 실제로 이런 영상들이 돌아다녔다.
한국의 경우는 이를 제작해서 인터넷 등에 배포하면 성폭력범죄의 처벌 등에 관한 특례법 제14조의2에 따라 처벌받는다. 일방적으로 당사자를 성적 대상으로 삼는 행위인 데다가 다른 사람의 영상에 얼굴을 합성한 행위이므로 '허위사실 적시에 의한 사이버 명예훼손'이 성립하며, 어찌 되었든 포르노이므로 공연히 적시했다면 음란물 유포 죄로 형사 처벌이 가능하다. 또한 민사사건으로서는 당사자의 동의 없이 딥페이크 포르노를 제작하였으므로 초상권 침해가 성립한다.
하지만 이러한 우회적 처벌이 아니라, 직접적으로 처벌할 수 있는 근거가 되는 법을 신설해야 한다는 목소리가 높아지면서 2020년 6월25일, <불법합성물 제작·유포에 대한 처벌 규정을 담은 성폭력범죄의 처벌 등에 관한 특례법 개정안>이 시행됐다. A
대다수 나라에서 현재 법적으로 대처가 불가능하다. B 사생활 침해에 관한 클레임도 걸 수 없는 게 동영상에 나오는 몸은 당연히 해당 일반인 및 연예인이 아니기 때문에 법적으로 사생활 침해가 인정되지 않는다. 그나마 동영상이라도 내릴 수 있는 유일한 방법은 얼굴이 나온 원본 영상에 대한 저작권 침해로 클레임을 거는 방법밖에 없다. 이와 같은 문제가 대두되기 시작하자 폰허브 같은 대형 플랫폼들은 딥페이크 영상들을 내리는 조치를 취하자 딥페이크 영상들을 모은 전용 사이트들이 생겨났다.
2월 27일 그것이 알고싶다에서 온라인 딥페이크 사용 목적의 96%가 포르노그라피인 것으로 보도되었다. 독일 경찰은 이를 역이용해서 아동성범죄 검거에 쓰고 있다.
이렇게 실존 인물을 대상으로 딥페이크 기술을 이용해 당사자의 동의가 없는 불법적 커플링을 묘사하는 사례에 관한 자세한 내용은 Real Person Slash의 줄임말인 알페스이다.
2021년 5월 2일 경찰청 국가수사본부가 발표한 내용에 따르면, 2020년 12월 한 달 동안의 집중수사를 통해 94명의 딥페이크 제작 및 유포자를 적발했으며, 그 중 65명이 10대, 17명이 20대로 나타났다. 즉 딥페이크로 검거된 사람들의 87.2%는 1020 연령층이자 과반수가 10대에 집중된 것으로 확인되었다. D 피해자는 114명으로 나타났으며 66명은 10대, 46명은 20대로서, 피해자들의 98.2%도 마찬가지로 1020 연령층이자 과반수가 10대에 집중되어 있었다.
또한 피해자들 중 109명이 여성이었고 남성 피해자는 단 5명에 그쳤다. 검거된 피의자들 중에는 10만 건이 넘는 딥페이크 자료들이 업로드 된 불법 사이트를 운영하거나, 텔레그램에 8개의 채널을 만들고 727개의 딥페이크 자료들을 유통하던 경우도 있었다.
2022년 이후 생성형 인공지능이 대중화되면서 비슷한 문제에 대한 우려가 있으나 딥페이크 만큼 논란이 된 경우는 없는데, 딥페이크의 경우 기술적 발전보다 부작용에 대한 우려가 더 이목을 끌면서 사실상 양지화 되지 못한 문화 지체 사례로 볼 수 있다.
2023년 95,820개의 딥페이크 비디오, 온라인 플랫폼 전반에 걸친 85개의 전담 채널, 딥페이크 생태계에 연결된 100개 이상의 웹사이트 등을 분석한 결과 2023년 온라인에 공개된 딥페이크 영상의 총 수는 95,820개로 2019년 대비 550% 증가했다. 딥페이크 포르노 사이트 시장점유율은 90%에 달하며 주류 포르노 웹사이트는 작지만 여전히 주목할 만한 10%의 점유율을 차지했다.
2022년부터 2023년까지 제작된 딥페이크 포르노의 양은 1년만에 2022년 약 3,725개에서 2023년 약 21,019개로 464% 증가했다. 국가별 딥페이크 포르노 피해는 한국 53%, 미국 20%, 일본 10%, 영국 6%, 중국 3%, 인도&대만 2% 순으로 한국이 압도적인 1위를 차지했다. 피해자 성별은 99%가 여성이다. 피해자 직업은 가수(58%), 배우(33%), 소셜 미디어 인플루언서(3%), 모델&운동선수(2%)로 상위 10명 중 8명이 KPOP으로 위시된 한국 가수이며 피해자 94%가 엔터테인먼트 업계에 종사하고 있다.
설문 조사에 참여한 미국 남성의 48%가 딥페이크 포르노를 적어도 한 번은 본 적이 있다고 답했으며 사용자의 74%는 시청에 대해 죄책감을 느끼지 않는다고 답했다. 설문 참여자의 73%는 가까운 사람이 딥페이크 포르노의 피해자가 될 경우 당국에 신고하고 싶어 했으며 68%는 딥페이크 포르노 콘텐츠 제작 과정에서 누군가의 사생활과 동의를 침해하는 것에 대해 충격과 분노를 느낄 것이라고 밝혔다. E F
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
5. 사례
대표적으로 엠마 왓슨의 얼굴을 사용한 포르노가 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해졌다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어졌다. 독일은 여기서 한 술 더 떠서 딥페이크를 적극적으로 활용해 가짜 아청물을 찍어내서 함정수사를 한다. G
일본에서도 2020년에 연예인에 대한 딥페이크 포르노를 제작·공개한 혐의로 적발한 사례가 있다. H
트위터나 텔레그램 같은 SNS상에서 링크를 통해 딥페이크 영상물을 사고파는 악성범죄가 자주 일어난다. '지인 합성', '능욕 합성' 등의 키워드를 검색해보면 지인이나 가족 등의 사진을 영상, 19금 사진에 합성해준다는 계정이 굉장히 많다. 심지어 이들 중 여럿은 공개 계정으로 버젓이 활동하고 있다. 특히 텔레그램에서는 여자의 신체들만 대상으로 한 딥페이크 비밀 방이 다수 운영되고 있으며 트위터와 같이 '지인 합성', '능욕 합성 ' 여성 지인이나 (여동생,누나)가족 등의 사진을 영상, 19금 사진에 합성한 딥페이크 피해가 전국 단위로 퍼져나가고 있다.
전국 학교 230곳에 '딥페이크방'…"얼굴 나온 거 다 지워라" 패닉
텔레그램에서 女아이돌 대상 '딥페이크방' 다수 운영 확인
‘○○○ 능욕방’ 딥페이크, 겹지인 노렸다…지역별·대학별·미성년까지
5.1. 서울대학교 허위 음란물 제작 유포 사건
5.2. 2024년 텔레그램 딥페이크 음란물 유포 사건
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
https://hopefortodayplus.com
khg070@gmail.com / hibiscus070@msn.com
'사회' 카테고리의 다른 글
서울대학교 허위 음란물 제작 유포 사건 (2) | 2024.08.30 |
---|---|
현행 법정 공휴일 [노는날/쉬는날/휴일] (1) | 2024.08.26 |
추석 (명절) (4/4) (1) | 2024.08.18 |
추석 (명절) (3/4) (1) | 2024.08.18 |
추석 (명절) (2/4) (1) | 2024.08.18 |