딥페이크 뜻 탐지기술

중국을 비롯한 해외에서 블랙핑크 아이유, 제니,설현 등 한국 아이돌의 딥페이크(deepfake) 음란물이 배포돼 문제가 되고 있습니다.

 

실제 인물의 얼굴과 음란물을 합성한 영상이 제작돼 디지털 성범죄로 이어지고 있는 것입니다.

 

출처 온라인커뮤니티

딥페이크란?

딥페이크란 인공지능(AI) 기술을 이용해 합성한 사진이나 동영상 또는 제작 프로세스 자체를 말합니다.

어떻게 쓰느냐에 따라 그 활용도가 달라질 수 있는 것. 진짜 같은 가짜를 만들어내는 딥페이크 기술과 이를 방어하는 탐지 기술은 어떤것이 있을까요?

 

딥페이크는 ‘심층 기계학습(deep learning)’과 ‘가짜(fake)’의 합성어로, 기존 얼굴을 바꿔치거나 완전히 새로운 얼굴 또는 몸짓을 만들어내는 일종의 위조 기술입니다.

심층 신경망을 기반으로 하는 딥러닝을 이용해 얼굴과 표정을 만들어내고 음성을 합성하게되면 사람들이 하지 않은 말이나 행동이 마치 한 것처럼 보이게 됩니다.

딥페이크 사진이나 동영상을 만들려면 수백, 수천 개 이미지를 인공 신경망에 입력해 패턴(얼굴)을 식별하고 재구성하는 훈련 과정을 거치는데 이때 두 신경망(생성자와 감별자) 세트가 경쟁을 통해 학습하는 적대적 생성 신경망(Generative Adversarial Network) 알고리즘이 사용됩니다.

 

생성자가 데이터를 만들어내면, 감별자는 실제 모습과 얼마나 유사한지 비교하며 이 과정의 반복을 통해 감쪽같이 조작된 사진이나 동영상이 탄생하게 됩니다.

활용할 수 있는 데이터가 방대해지고 컴퓨팅 성능이 향상되면서 딥페이크 기술은 더욱 빠르게 발전하고 있습니다.

 

 

출처 MBC

딥페이크의 눈부신 발전

딥페이크 기술은 이제 사진 한 장으로 새로운 이미지를 만들어낼 수 있을 만큼 크게 발전했습니다.

얼마 전 딥페이크로 부활한 유관순 열사, 윤봉길 의사 등 애국지사의 모습이 소셜네트워크서비스(SNS)를 타고 확산되며 감동을 자아냈습니다.

 

이 영상들은 이스라엘 온라인 플랫폼 마이헤리티지(MyHeritage)의 ‘딥 노스텔지어’ 서비스가 적용된 결과물입니다.

이 서비스는 사이트에 사진을 올리면 정지된 사진 속 얼굴을 수초 만에 애니메이션화해 움직이는 이미지(GIF)로 바꿔줍니다.

최근 틱톡에 딥페이크 기술로 만든 할리우드 배우 톰 크루즈의 영상이 올라와 사람들에게 놀라움을 자아냈습니다.

톰 크루즈가 골프를 치는 모습부터 말을 건네고 마술을 선보이는 영상까지 주의 깊게 살펴보지 않고서는 가짜임을 알아채기가 어려울정도 입니다.

 

이 영상을 제작한 벨기에 VFX(Visual Effects: 특수영상) 전문가 크리스움은 IT(정보기술) 매체 ‘더버지’를 통해 “딥페이스랩(DeepFaceLab) 알고리즘과 기존 비디오 편집 도구를 사용해 딥페이크 클립을 제작했다”며 “기존 컴퓨터 그래픽 기술과 VFX를 딥페이크에 결합시키면 더 나은 결과물을 구현할 수 있다”고 밝혔습니다.

 

딥페이스랩은 동영상에 얼굴을 바꿔 넣을 수 있도록 짜인 오픈소스(공개된) 프레임워크이며 딥페이스랩, 페이스스왑(Faceswap) 등 개발 소스가 공개된 프레임워크는 누구나 손쉽게 활용할 수 있습니다.

 

딥페이크 기술은 게임, 영화 등 창작물 제작은 물론, 앞서 소개한 추억 재현 서비스까지 폭넓게 활용될 수 있습니다.

문제는 딥페이크를 악용하는 사람이 있다는 점입니다.

 

가짜뉴스를 만들어 잘못된 정보를 배포하거나 정치적 선동에 이용하기도 합니다.

또한 아이돌 딥페이크 동영상처럼 음란물을 위조하는 심각한 범죄도 있습니다. 

 

출처 주간동아

딥페이크 가려내는 탐지기술

이에 대응하는 딥페이크 탐지 역시 AI 몫입니다.

심층 신경망을 통한 지능적 AI 기술로 딥페이크를 찾아냅니다.

초기 탐지 기술은 눈 깜박임 속도나 얼굴 근육의 움직임 같은 미묘한 차이를 잡아냈으나 최근에는 영상 분석과 영상 인식에 활용되는 콘볼루션 신경망(Convolutional Neural Network)을 통해 더욱 정교한 방법으로 딥페이크를 추려내고 있습니다.

 

미국 뉴욕주립대 컴퓨터과학과는 코, 입술, 머리가 향한 방향과 위치를 계산해 딥페이크를 찾는 방법을 제시했습니다.

연구팀은 딥페이크로 새로운 얼굴과 표정이 생성될 때 사람의 머리 위치, 조명 조건, 카메라와 거리 등이 일치하지 않아 나타나는 미세한 오류를 포착했습니다.

 

출처 주간동아 뉴욕주립대 컴퓨터과학과

가짜 얼굴이 주변과 조화를 이루게 하기 위해 회전, 크기 조정 등 변형을 가하면서 흐릿한 경계선, 매끄러운 피부 등이 나타날 수 있는데, 이는 딥페이크의 증거가 됩니다.

미국 버펄로대 컴퓨터과학과 연구실에서는 사람 눈의 빛 반사를 분석해 딥페이크 사진을 자동으로 식별하는 도구를 개발했습니다. 우리가 무언가를 볼 때 눈동자에는 상이 반영됩니다.

 

반면 AI에 의해 생성된 얼굴의 눈동자는 일관된 이미지를 반영시키지 못합니다.

딥페이크 이미지의 눈동자를 확대해 반사된 상의 픽셀을 분석하면 가짜를 포착할 수 있는 것입니다.

 

딥페이크와 탐지기술의 쫒고 쫒기는 싸움

페이크 탐지 기술이 계속 쫓아 가고 있지만 갈수록 정교해지는 딥페이크를 따라잡기는 쉽지 않아 보입니다.

구글의 딥러닝 인공지능 연구팀 ‘구글 브레인(Google Brain)’은 첨단 탐지기조차 딥페이크 이미지에 속을 수 있다는 연구 결과를 도출해냈습니다.

 

최신 딥페이크 탐지기가 이미지의 일부 픽셀 값에 고의적으로 작은 변화를 줘 교란시키는 적대적 섭동(이미지 구조의 기본 흐름을 방해하는 간섭 현상)에 취약한 것으로 나타났기 때문입니다.

미국 서던캘리포니아대 연구팀 또한 실험을 통해 이미지 교란이 탐지기의 식별 능력을 현저히 떨어뜨린다는 사실을 확인했습니다.

해결책으로 교란 섭동을 제거하는 알고리즘을 거치자, 식별 능력이 회복됐지만 처리 시간이 매우 길어지는 단점이 나타난것입니다. 

연구팀은 “딥페이크가 바이러스, 탐지기가 백신이라면 적대적 섭동은 돌연변이로 생각할 수 있다”며 “작은 돌연변이 하나가 백신을 쓸모없게 만드는 것처럼 이미지의 작은 섭동이 최첨단 딥페이크 탐지기를 무용지물로 만들 수도 있다”고 설명했습니다.