스마트폰으로 딥페이크영상·가짜뉴스사진 잡는다

이흥규 KAIST 전산학부 교수팀 '카이캐치' 서비스

모바일로 위변조 탐지기술 제공하는 국내 첫 사례

"일반인도 디지털 콘텐츠 조작여부 손쉽게 확인"

카이캐치 모바일 앱에 적용된 딥페이크 영상 탐지 기술 작동방식. [사진=KAIST 제공]

인공지능(AI) 기술로 조작된 영상과 사진을 탐지할 수 있는 모바일 앱이 국내 연구진에 의해 개발돼 국내 최초로 서비스된다. 인권침해와 사회혼란을 유발할 수 있는 '딥페이크(deepfake)' 영상과 조작된 사진 등의 문제에 대처하고 예방하는 데 기여할 것으로 기대된다.

30일 한국과학기술원(KAIST)은 이흥규 전산학부 교수 연구팀이 딥페이크 영상과 위·변조 사진을 탐지할 수 있는 소프트웨어(SW) '카이캐치(KaiCatch)'를 모바일 앱으로 개발해 서비스를 시작한다고 밝혔다. 디지털콘텐츠 위·변조 탐지가 필요한 공공기관, 산업계, 언론·방송사, 포털 종사자, 일반인들이 손쉽게 활용할 수 있을 것이라고 강조했다.

이 교수 연구팀 측은 "딥페이크 기술은 얼굴 교체, 얼굴 재현, 얼굴 속성 변환 등 3가지 유형으로 쓰인다"며 "얼굴 교체와 얼굴 재현은 악의적으로 쓸 때 가짜뉴스로 사회혼란을 일으킬 수 있고, 음란물 제작에 악용돼 개인 인권을 침해할 수 있으며, 얼굴 속성 변환도 영상증거 조작에 악용될 수 있다"고 지적했다.

이 교수 연구팀은 생성유형에 상관 없이 딥페이크 기술 적용여부를 탐지하기 위해 영상의 미세한 변형신호·이상신호 흔적을 탐지하는 기법을 적용한 신호처리·AI 기술을 개발했다. 이 기술은 딥페이크가 주로 적용되는 영상 속 인물의 얼굴이 표시되는 영역에서 변형을 찾고, 코·입·얼굴 윤곽 등 '기하학적 왜곡'이 나타날 수 있는 영역의 이상신호 흔적을 분석한다.

 

카이캐치 모바일 앱을 활용해 사진 위변조 여부를 분석하는 과정. 모바일앱 실행 화면(왼쪽)과 분석의뢰 단계(가운데)와 분석결과(오른쪽). [사진=KAIST 제공]

카이캐치 모바일 앱은 'avi'나 'mp4' 형식의 영상을 프레임 단위로 나누고 이미지로 변환한 뒤 딥페이크 탐지를 수행한다. 영상 속의 얼굴이 128×128픽셀 이하로 너무 작거나 사람의 얼굴이 상당부분 잘린 형태가 아닐 경우 정상 탐지할 수 있다. 영상 속 한 장면을 이미지로 만들어 카이캐치 앱에 업로드하면 0~100% 사이 값으로 딥페이크일 가능성을 판정해 준다.

이 앱에 BMP, TIF, TIFF, PNG 등 무압축·무손실압축 형식 이미지를 업로드하면 사용자가 위변조 분석결과를 받아볼 수 있다. 50여개의 표준 양자화 테이블과 1000여개의 비표준 양자화 테이블에 기반한 JPEG 이미지도 처리 가능하다. 이미지 분석 결과는 위변조가 의심되는 영역의 색상이 주변과 크게 차이를 보이는 형태로 나타나 일반인들이 판단할 수 있게 된다.

이 교수는 "카이캐치는 AI와 미세 이상신호 흔적 분석기법을 사용해 범용성을 갖도록 개발됐다"며 "우리가 예측하지 못하거나 알지 못하는 변형된 (조작) 기법을 사용해도 90% 내외의 신뢰도로 탐지할 수 있다"고 말했다. 이어 "우선 안드로이드 앱 서비스로 개발됐고 가까운 시일내 iOS 앱 출시와 함께 영어·중국어·일어 버전도 출시할 것"이라고 예고했다.

이 교수 연구팀은 2013년 최초로 카메라 컬러필터어레이(CFA) 흔적을 이용한 색상변형 탐지·추정 기술을 제안하고 '제르니크 모먼트'를 이미지 위·변조 분야에 적용해 이론적인 분석과 평가를 통해 성능을 입증했다. 해당 연구 논문은 복사·붙여넣기 조작을 탐지하는 기법 관련 연구에서 국제 인용도가 가장 높다는 게 KAIST 측 설명이다.

이 교수 연구팀은 이후 2015년 6월 국내 최초로 사진변형 탐지 SW 카이캐치 1.0 버전을 개발했다. 당시 미국 Farid 연구팀에 이어 세계 2번째로 '영상 위변조 탐지 서비스' 사이트를 개설하고 이 기술을 일반인들에게 공개해 30만여장의 이미지를 분석했다. 이때 수집한 실제 환경 이미지 데이터가 위변조 탐지 포렌식 기술 개발에 기여했다.

이 교수는 카이캐치 모바일 앱에 "기존 탐지 기법과는 매우 상이한 기법들을 사용한 위·변조 탐지 기술도 실용화해 카이캐치에 추가 탑재할 예정"이라며 "탐지가 안 되는 각종 예외 경우들을 대폭 줄이도록 노력하겠다"고 말했다.

이번 연구는 KAIST 창업기업인 디지탈이노텍과의 산학협력 연구로 수행됐다.
 

이흥규 KAIST 전산학부 교수 [사진=KAIST 제공]