이번 인터뷰는 최근 언론을 통해 알려지게 된 ‘딥페이크’를 다루기로 한다. 딥페이크 검출 솔루션 개발을 위한 연구를 하고 있는 정지량 박사를 모시고 처음에는 인터넷에서 유명인을 두고 하는 장난 정도로 생각한 딥페이크가 이제는 범죄에 악용되는 정도로 발전한 과정과 앞으로 딥페이크가 가져올 문제들에 대해 짚어보기로 한다. 정박사는 S전자 수석연구원 출신으로 AI사업부에 몸담았었고, 지금은 소프트웨어, AI솔루션 개발업체 마인즈앤컴퍼니에서 연구 및 딥페이크와 관련한 정부과제를 수행 중에 있다.

딥페이크, 신문을 보면 대충 감은 잡히는 데 정확한 의미는 무엇인가요?

우리나라의 디씨인사이드 같은 게 미국에도 있었는데, 2017년 말 미국의 소셜 뉴스 커뮤니티인 Reddit에 deepfakes라는 유저가 연예인들의 얼굴을 포르노그래피 비디오에 꽤 그럴싸하게 합성한 결과를 공유한 적이 있었어요. 지금 보면 조잡하다고 할 수도 있겠지만, 당시에는 이 역시 인터넷 사용자들 사이에서 폭발적으로 퍼져 나가게 되면서 사용자명이었던 deepfakes가 일반명사화된 것이 ‘딥페이크’입니다.

애초부터 시작은 가히 바람직하지 않은 방향이었군요.

네, 사실 그전에도 영상합성물들이 있기는 했지만, 결국 포르노그래피와 결합된 것만큼 파급력이 상당했죠. 사실 인터넷의 발전을 이야기할 때 포르노 산업을 빼고 얘기할 수는 없어요. 윤리적·도덕적으로 옳고 그르다의 문제를 떠나 기술발전의 동력으로 왜곡된 성적욕망이 존재했다는 겁니다.

사실 영상합성이라는 것 자체가 새로운 것은 아니지 않나요?
기술적인 측면에서 볼 때 딥페이크가 영상합성과 다른 점은 어떤것이 있나요?

아마도 ‘딥러닝’이라는 부분이 아닐까 싶은데요. 특수효과 장비와 기술이 필요했던 기존 영상합성 방식이 딥러닝을사용하여 적당한 수준의 PC에서도 가능해졌다는 점과, 그 적용분야가 포르노그래피였다는 점이 아마 이 기술의 급격한 발전과 확산에 기여했을 것으로 봅니다.

지금은 그 발전의 정도가 어느 선까지 이르게 되었나요?

아마도 정말 가까이에 존재한다고 표현해도 될 것 같은데요, 초기 ‘딥페이크’ 알고리즘보다 현재의 방식은 그 성능과 사용성 면에서 놀랍게 발전했어요. 지금은 컴퓨터 프로그래밍 문외한도 시간을 좀 들여서 매뉴얼을 숙독하면 Auto-encoder, face blending, super-resolution 등의 고급기술들을 조합한 합성 영상을 만들어낼 수 있을 정도의 애플리케이션까지 나왔으니까요.

방금 딥러닝, 알고리즘 이런 얘기가 나왔는데, 조금 쉽게 풀어서 설명해 주시면 좋을 것 같습니다.

딥러닝, 알고리즘 이런 얘기를 하려면 우선 인공지능, 머신러닝, 딥러닝 이 개념들을 잠깐 보아야 하기는 합니다. 먼저 우리가 AI(Artificial Intelligence)라고 부르는 인공지능은 컴퓨터 영역에서 ‘바벨탑’ 같은 개념이에요. 인간의 지능을 인공적으로 구현한다는 것인데, 이건 아직까지는 요원한 이야기입니다. 물리적으로 인간의 지능을 구현하고 있는 뇌에 대해서도 완벽하게 알지 못하는데 컴퓨터로 인간의 지능을 구현한다는 건 무리가 있겠죠? 비행기를 예로 들어보죠. ‘새처럼 날고 싶다’는 목적을 가지고 비행기를 만든다고 생각해봅시다. 그러려면 새의 골격의생김새, 근육의 움직임, 양력을 어떻게 이용해야 하는지, 날갯짓에 따라 와류가 어떻게 발생하는지 등등 알아야 할 것이 너무 많겠죠? 하지만 우리는 양력을 어떻게 다루어야 하는지 기본 개념을 가지고 새에게는 없는 제트엔진을 달아서 비행기를 만들어냈죠.

새를 보고 비행기를 만들고 인간의 뇌를 연구해서 인공지능을 만든다.

네, 비슷하죠. 여러 분야에서 응용되고 있는 지금의 인공지능이 이와 유사합니다. ‘정확히 새와 같은 방식으로’ 날지는 못하지만, 그 원리를 이용해서 새보다 더 빠르게 날 수 있는. 뇌에 있는 뉴런의 기본적인 원리를 모방해서 인공신경망(Artificial Neural Network)이라는 모델을 만들었고, 이를 이용해 여러 머신러닝(Machine Learning) 알고리즘들을 구현하게 된 것이죠. 인간의 뇌와 다른 방식으로 동작하는 현대의 인공지능도 굉장히 다양한 분야에서 쓰이고 있으며, 컴퓨터의 빠르고 정확한 연산 능력에 힘입어 특정 태스크에 있어서는 인간보다 훨씬 더 나은 성능을 보여주고 있어요. 하지만 진짜 인간의 지능을 추구하는, STRONG AI라고 부르는 인공지능에 대한 연구도 계속되고 있습니다. 비단 컴퓨터공학뿐만 아니라 생물학, 뇌공학, 심리학, 철학 등 수많은 분야에서 함께 노력하고 있지요.

머신러닝과 딥러닝은 뭔가요?

머신러닝은 인공지능의 한 분야입니다. 인공지능에는 머신러닝 이외에도 뇌의 연결 구조인 커넥톰(Connectome)을 연구하는 분야, 뇌의 동작 방식을 추론하는 인지심리학 등 다양한 분야가 있어요. 지능적인 행동을 컴퓨터로 시뮬레이션하는 머신러닝은 인공지능이라는 큰 분야를 구성하는 한 부분인 거죠. 컴퓨터가 ‘스스로 학습’할 수 있도록 프로그래밍을 하는 거예요. 동작하는 방식을 일일이 명기해 주는 대신에, 데이터를 입력해서 프로그램의 정확도를 측정하고, 이 정확도에 따라 계산식을 조금씩 변경하도록 프로그램을 작성한 것이죠.

사람이 개입할 여지는 계속 있는 건가요?

프로그래밍 수정이 필요한 경우에는 계속 필요하죠. 그런데 인공신경망이라는 단계로 가면 사람이 개입할 부분이 점점 줄어들어요. 간단한 예를 들면, 컴퓨터가 1 더하기 2를 3이라고 답했으면 수정할 필요 없이 계산식을 그대로 유지하고, 4라고 대답했으면 오차인 1만큼 계산식을 약간 수정, 10이라고 대답했으면 그 오차가 7인 만큼 계산식을 많이 수정하도록 프로그래밍을 해준다는 거예요. 여기에도 다양한 방법론들이 있는데, 그중 하나가 조금 전에 말씀드린 인공신경망이에요. 인공신경망의 최초 개념은 1950년대에 만들어졌는데요, 최근 하드웨어와 소프트웨어 기술의 발전에 따라 굉장히 복잡하고 여러 단으로 이루어진 인공신경망이 빅데이터를 입력받아 동작하는데 필요한 수많은 연산을 빠르게 할 수 있게 되었습니다. 이렇게 여러 단으로 복잡하게 구성된 인공신경망을 ‘deep’ 하다고 표현하였고, 이런 심층신경망(Deep Neural Network)을 이용한 머신러닝을 딥러닝(Deep Learning)이라고 부르게 된 거예요.

그렇다면, 딥러닝을 이용해서 딥페이크가 발전하게 되었다는 것은 정확히 어떤 의미인가요?

지금 딥페이크가 전 세계적인 이슈가 되고 있는 까닭은, 아마도 기존의 툴과 비교하였을 때 기술적인 접근성과 합성 결과물의 성능이 한층 뛰어나기 때문이라고 볼 수 있을 것입니다.

전문 지식이 없는 사람도 쉽게 사용법을 익힐 수 있다는 점, 합성 프로그램을 구동하기 위해 고성능 컴퓨터가 필요하지 않다는 점, 그리고 합성을 위한 학습 데이터가 많이 필요하지 않다는 점입니다.

지금까지 많은 데이터가 필요해야 머신러닝이든 딥러닝이든 이러한 인공지능이 구현될 수 있다고 했는데, 아닌가요?

다른 모든 기술들과 마찬가지로 딥러닝도 새로운 방법론이 고안되고 나면 최적화의 과정을 거칩니다. 딥러닝에서 최적화란 정확도를 극대화하고, 속도를 빠르게 하고, 필요한 빅데이터의 크기를 최소화하는 것이라고 할 수 있어요. 원래는 합성하고자 하는 대상의 이미지가 많이 필요했던 솔루션이 점점 최적화되어서 이제 이미지가 몇 장 없어도 그럴듯한 합성 영상을 만들 수 있게 되었다는 거예요. 예전엔 유명가수가 춤을 추는 모습에서 그 유명가수의 얼굴대신 임변호사님의 얼굴을 넣고 아주 자연스러운 영상을 만들기 위해서는, 여러 각도에서, 여러 조명에서, 여러 표정이 나타난 임변호사님의 얼굴 사진이 모두 필요했지만, 생성모델(Generative Models) 분야가 발전하면서 더 자연스러운 딥페이크를 더 적은 데이터로 쉽게 만들 수 있게 된 것이죠.

특정인의 얼굴을 넣은 위조영상을 진짜로 촬영한 것처럼 자연스럽게 만들어낼 수도 있게 된다는 거네요.

네, 맞아요. 바로 그거죠. 이 기술이 발전할수록 딥페이크용 인공신경망을 학습하는 데 필요한 데이터는 점점 줄어들어 이제는 단지 몇 장(few-shot) 또는 심지어 한 장(one-shot)의 이미지 만으로도 합성 이미지를 만들어내는 기술이 개발되는 거예요. 무심코 SNS에 올린 사진 한 장만으로도 누구나 인터넷 사기범이 될 수도 있고, 성범죄 영상에 등장할 수도 있게 되는 거예요.

차라리 기술이 발전하지 않았을 때가 좋았던 거네요.

아무래도 그렇죠. 특히 딥페이크가 가지는 위험성을 생각해보면 그렇습니다.

쉽게 말해서 A라는 사람과 B라는 사람을 두고, 여러 장의 사진을 놓고 하나의 인코더로 압축을 하는 거예요. 두 사람의 사진들을 섞어 놨다가 다시 A와 B로 분류하며 복원하는 두 개의 디코더로 각각 학습을 하고, 학습이 끝나면 A의 인코더와 B의 디코더를 조합해서 딥페이크용 네트워크를 구축하는 거죠. 그런다면 A의 이미지를 넣으면 압축-해제의 과정을 거치면서 B의 외관에 A의 얼굴이 덧씌워진 이미지가 만들어지는 게 원래의 딥페이크에 쓰인 face-swap 방식이었어요. 이 방식이 제대로 구현되기 위해서는 인공신경망을 하나만 학습하면 되는 데 반해 자료, 합성하고자 하는 인물의 이미지 데이터가 많이 필요했어요.

그러다가 적대적 생성 신경망 기술이 사용되고 발전되면서, 하나의 모델로 여러 사람의 얼굴을 합성할 수도 있을 뿐 아니라 그 성능마저 개선되어서 합성 이미지의 진위를 구분자가 구별해내지 못하게되는 정도까지도 가능하게 된 것입니다. 결국 만들어지는 이미지의 진위 논란까지 생길 정도가 된다는 겁니다.

결국 점점 적어지는 데이터로도, 점점 정확한, 정교한 가짜를 만들어낼 수 있게 된다는 건데, 이 분야를 연구하는 사람으로서 우려되는 점들은 어떤 게 있나요?

딥페이크도 처음에는 짓궂은 장난 정도에서 이제는 범죄가 되고 있어요. 지금 총선을 앞두고 있는데, 누가 정말 정교하게 정치적 영향력이 큰 정치인으로 망언을 하는 영상을 만들어서 인터넷에 퍼뜨렸다고 생각해보세요. 그것이 가짜였다는 것이 다시 사람들에게 환기되기까지 얼마나 많은 사회적 비용이 필요한지.

이런 문제는 국제분쟁을 야기할 수도 있겠네요.

그렇죠. 실제로도 있었죠. 2018년 가봉에서 한동안 건강상의 이유로 미디어에 등장하지 않던 봉고 대통령이 새해 연설을 하는 영상이 공개됐는데, 사람들이 영상이 부자연스럽다면서 이를 딥페이크라고 의심하게 되었고 심지어 군사 쿠데타가 발생하기도 했어요.

딥페이크가 정말로 정교해져서 이제는 수사기관에서 증거로 많이 활용하는 CCTV 영상 등이 조작되는 경우도 생각해볼 수 있을까요?

사실 오늘 인터뷰를 제안받고 이 얘기를 꼭 하고 싶었어요. 가짜 영상도 문제지만, 진짜 영상도 앞으로는 가짜라면서 발뺌을 할 수 있도록 만드는 것이 이 딥페이크의 문제에요. 즉 진위가 구분되지 않는 영상이라면 이를 진짜라고 할 수도 있고 가짜라고 할 수도 있어요. 그 아래에 진실은 이제 영상을 통해서 입증한다는 것이 불가능해지는 거죠. 그래서 실제로 막말을 해놓고도, 그런 영상을 두고 “나는 그런 말을 한 적이 없어”라고 발뺌을 할 수도 있고, 하지도 않은 행동이 본인이 한 것으로 되어버릴 수도 있어요. 결국 영상도 증거로서의 가치가 뚝 떨어진다는 거죠.

이런 문제에 대한 대비는 가능한가요?

미국 얘기를 좀 해야 될 것 같은데, 미국이 지금 코로나19 때문에 정신이 없기는 하지만, 2020년 대선을 앞두고 딥페이크가 선거에 영향을 줄 가능성에 크게 우려하며 딥페이크 검출 솔루션 개발에 정부와 민간기업 모두가 박차를 가하고 있어요. 이미 지난 2년간 800억 원의 예산이 투입되었고, 페이스북, 마이크로소프트, 아마존, 구글 등 IT 업체들은 딥페이크 챌린지와 딥페이크 오픈데이터 공개를 통해 이러한 솔루션 개발에 직·간접적인 지원을 하고 있어요.

우리나라는 어떤가요?

전혀 논의가 없는 것은 아니지만, 아직 본격적인 대응은 이루어지고 있지 않은 것 같아요. 어쩌면 이 분야와 관련해서는 이번에 문제된 N번방 사건에 대해 언론에서 다루면서 딥페이크에 관한 공론화가 이루어지는 것이 딥페이크의 위험성을 환기시키는 기회가 되지 않을까 싶기는 합니다.

그 끔찍한 사건이 딥페이크에 대한 이번 인터뷰의 계기가 되기는 했지만 그 사건은 너무 끔찍해서… 다시 우리 주제로 돌아와서 딥페이크 기술 자체의 제한이나 딥페이크 검출기술과 관련된 내용은 어떻게 진행되고 있나요?

먼저 기술 자체의 제한은 방법이 아닐 것 같아요. 악의적인 딥페이크는 끔찍한 결과를 만들어내지만, 그 기술자체는 다양한 순기능을 가지고 있거든요. 신약 개발을 위해 새로운 단백질을 합성한다든지, 민감한 개인정보데이터를 비식별화해 준다든지 하는 일에도 같은 기술이 쓰일 수 있어요. 사실 기술은 죄가 없어요. 그 사용이 문제죠.

그럼 현실적인 대응방안으로는 어떤 것이 있을까요?

사실 대응방안으로는, 딥페이크 검출 솔루션 개발에 대한 지원과 의무화가 대응 방안의 한 축이 될 수 있을 것 같아요. 악의적인 사용은 이번 N번방 사건에서도 보았듯이 왜곡된 것일지라 하더라도 욕망을 채워주는 것이 되기 때문에 그리고 이를 통해 금전적인 보상이 따르기에 악의적인 사용을 위해서는 기술이 더 빨리 발전 할 수밖에 없어요. 그런데 그렇게 악의적으로 사용된 딥페이크 영상을 검출해 내는 검출솔루션의 개발은 개개의 기업이나 연구자가 개발에 노력을 기울이기에는 투입해야 하는 자원 대비 인센티브가 부족한 것이 현실이에요.

규제적인 측면도 가능하겠지요?

맞아요. 사실 일이 터지고 나면 딥페이크 같은 경우에는 그 파급효과가 너무 커요. 쉽게 누군가 딥페이크 포르노영상으로 피해를 보면, 이미 그것을 주워 담는다는 건거의 불가능해요. 그래서 딥페이크 영상의 확산 도구가될 수 있는 소셜 미디어, 동영상 플랫폼, 포털 서비스 등의 업체들과 협력하여, 각 플랫폼에 업로드되는 동영상에 딥페이크 검출 필터링을 의무화하는 등의 규제도 생각해 볼 수 있을 것 같습니다.

많은 고민을 가지고 계신데, 지금 검출 솔루션 개발, 연구중이시죠. 박사님이 하시는 일과 관련하여 이 인터뷰를 보시는 분들께 부탁하거나 당부하실 말씀이 있으신지요?

관심을 가져주십사 하는 겁니다. 사회적 공감대라고 하잖아요. 그런 사회적 공감대가 형성되지 않으면 딥페이크 영상을 만드는 것에 비해 수익성이나 인센티브가 적은 검출 솔루션 개발과 딥페이크 영상에 대한 규제는 이루어지기가 어려워요. 사실 몇 년 전까지만 해도 미세플라스틱에 의한 해양오염, 이런 거 잘 몰랐잖아요. 하지만 그런 내용이 공론화되면서 이제는 미세플라스틱이 왜 나쁜지, 어떻게 그 사용을 줄일지 얘기가 이루어지고 있어요. 딥페이크와 관련된 내용도 마찬가지로 공론화가 이루어져야 검출기술의 적용과 사회적 규제가 이루어질 것 같습니다.

오늘 인터뷰에 응해 주시고 어려운 얘기들 쉽게 풀어 주셔서 고맙습니다.

아닙니다. 이렇게 관심을 가져 주셔서 정말 고맙습니다.

인터뷰를 마치고 이미 늦은 밤이 되었는데도 정박사는 다시 사무실로 들어갔다. 큰 회사에서 한 분야의 기술 개발에 매진하는 것도 좋았지만, 본인이 정작 관심을 가지는 분야로 사회에 공헌할 수 있는 가능성이 있어 지금도 야근을 당연한 것으로 받아들인다고 한다. 우리 회원님들께서도 딥페이크와 그 규제에 대한 많은 관심을 가져 주시면 좋을 것 같다.
 

인터뷰/정리 : 임제혁 본보 편집위원