서울시, AI로 아동·청소년 성착취물 잡아내 즉시 삭제...2차 피해 방지

서울 디지털성범죄 안심지원센터, 오는 6월부터 AI 활용

AI 안면인식 기술로 나이 판별

오세훈 서울시장이 서울디지털성범죄 안심지원센터 개관 1주년 기념식에서 전문가, 학부모들과 간담회를 하고 있다. [사진=서울시 제공]

서울시가 아동·청소년 성착취물을 24시간 자동 감시하는 AI 시스템을 활용해 선제적인 삭제에 나선다.
 
서울시는 22일 서울연구원이 개발하고 서울 디지털성범죄 안심지원센터에서 분석 지원한 아동·청소년 성착취물 AI 감시 시스템이 이달 중 마무리된다고 밝혔다.
 
센터는 다음 달부터 AI 감시 시스템을 활용해 아동·청소년 성착취물을 선제적으로 삭제한다. 구글, 빙 등 검색엔진에서 피해 영상물 관련 키워드로 검색해 찾아내는 방식이다. 중국·미국 등 해외에 유포된 피해 영상물도 검색한다.
 

시스템을 통해 성착취물을 검출하는 시간이 80배 빨라질 것으로 기대된다. AI가 키워드 입력부터 영상물 검출까지 걸리는 시간은 90초에 불과해 기존 수작업에 2시간가량 걸리는 데 비해 크게 개선된다.
 
감시망을 피하기 위해 변형된 키워드도 AI가 잡아낸다. '딥페이크'를 '뒵페' '뒷페' 등으로 바꾼 신조어도 사회관계망서비스(SNS) 빅데이터 분석을 통해 자동 생성한다. 삭제지원관이 30개 키워드를 검색하는 사이 100배 키워드를 생성해 보다 많은 피해 영상물을 찾아낼 수 있다.
 
디지털 성범죄 피해자 지원을 해왔던 센터가 삭제 업무를 맡는다. 그간 삭제지원관 5명이 피해자 요청에 따라 영상물을 찾아내 삭제했다.

아동·청소년들은 부모나 수사기관에 알리지 못해 피해 영상물이 그대로 유포되는 사례가 적지 않다. 센터 측 피해 요청 현황에 따르면 아동·청소년 피해자가 스스로 신고한 사례는 12명으로 7.8%에 그쳤다.
 
센터가 2022년 3월 개관한 후 1년 동안 지원한 아동·청소년 피해자는 19.2%를 차지했으며 피해 지원은 2026건이었다. 지난해 3월부터 지난 3월까지 지원한 아동·청소년 피해자는 22.2%로 2배 이상, 피해 지원은 1만5434건으로 7배 이상 증가했다.
 
범죄 수법은 연령별로 다른 양상을 보였다. △만 8세 미만은 온라인 게임상 유료 아이템 △만 8~13세 미만은 오픈채팅방(서열방, 노예놀이) △만 13~19세 미만은 채팅알바, 불법 사진합성 등을 매개로 성적인 사진을 요구하는 사례가 많았다.
 
 

AI 감시 시스템이 검출한 피해 영상물 결과화면 예시. [사진=서울시 제공]

이에 시는 현행법이 아동·청소년에 한해 당사자 신고 없이 피해 영상물 즉시 삭제가 가능하도록 규정하고 있는 만큼 이번 기술을 개발하게 됐다고 설명했다. AI 시스템은 피해자 성별과 나이를 판별할 수 있는 안면인식 기술을 갖췄다. 얼굴이 나오지 않더라도 영상물 속 사물, 청소년 언어 습관 등을 함께 인식해 판별한다.

센터는 수사로 이어질 것에 대비해 피해 영상물에서 최대한 채증한 후 삭제할 예정이다. 또 내년에는 검색뿐만 아니라 신고까지 AI가 하는 자동 신고 시스템을 구축할 계획이라고 시는 설명했다.

김선순 서울시 여성가족정책실장은 "우리 사회를 충격에 빠트린 N번방 사건 이후 4년이 흘렀지만 여전히 아동‧청소년을 대상으로 한 디지털 성범죄는 사라지지 않고 있고 그 피해도 심각하다"며 "서울시는 작년 전국 최초로 AI 삭제 지원 기술을 도입한 데 이어 아동‧청소년 성착취 영상을 특정할 수 있는 기술을 통해 선제적인 감시‧삭제에 나서 아동‧청소년이 안전한 서울을 만들어 나가겠다"고 말했다.