DARPA 딥페이크 검증 (SemaFor, DSRI, ULS)

DARPA가 딥페이크 탐지 기술을 한 단계 더 발전시키기 위해 디지털안전연구소(DSRI)와 협력 연구 개발 협약을 체결했습니다. 저도 최근 AI로 생성된 가짜 이미지가 진짜 뉴스처럼 퍼지다가 뒤늦게 조작으로 밝혀지는 사례들을 여러 번 접하면서, 이제는 진위 구별이 정말 어려워지고 있다는 걸 실감했습니다. 놀랍게도 DARPA는 이미 2024년 9월 Semantic Forensics(SemaFor) 프로그램을 통해 AI 생성 미디어를 탐지하는 포괄적인 기술을 개발해 왔고, 이번에는 전문 안전 인증 기관을 통해 실제 제품화 단계로 나아가고 있습니다.

AI 포렌식 기술의 진화 배경

 

DARPA의 미디어 포렌식 연구는 사실 2016년 Media Forensics 프로그램에서 시작되었습니다. 여기서 포렌식(forensics)이란 디지털 증거를 과학적으로 분석하여 조작 여부를 밝혀내는 기술을 의미합니다. 당시만 해도 조작된 이미지나 영상을 찾아내는 수준이었지만, 생성형 AI가 급격히 발전하면서 단순 픽셀 분석만으로는 한계에 부딪혔습니다.

 

2020년부터 시작된 SemaFor 프로그램은 이러한 기술적 한계를 넘어서기 위한 시도였습니다. 이 프로그램의 핵심은 단순히 이미지의 흔적만 찾는 게 아니라, 자막·장소·이미지·음성 등 콘텐츠의 맥락적 불일치까지 분석한다는 점입니다. 예를 들어 영상 속 인물이 말하는 내용과 배경에 보이는 장소의 계절이 맞지 않는다거나, 음성의 억양과 입 모양이 자연스럽지 않은 부분까지 검출해냅니다.

 

소셜 미디어 환경이 바이럴 콘텐츠 확산에 최적화되면서, 조작된 미디어가 진실처럼 퍼지는 속도는 더욱 빨라졌습니다. 실제로 MIT 미디어랩 연구에 따르면 가짜 뉴스는 진짜 뉴스보다 6배 빠르게 확산된다고 합니다. 제가 직접 경험한 사례로도, 최근 한 유명 기업 CEO의 발언이라며 돌아다니던 영상이 알고 보니 AI로 만든 합성 영상이었던 적이 있었습니다. 당시만 해도 육안으로는 전혀 구별이 안 됐습니다.

SemaFor 기술의 실체와 DSRI의 역할

SemaFor가 개발한 탐지 도구들은 이미 오픈소스 저장소를 통해 공개되어 있습니다. semanticforensics.com에서 확인할 수 있는 이 기술들은 단순 탐지를 넘어서 '귀속(attribution)'과 '특성화(characterization)'까지 가능합니다. 여기서 귀속이란 조작된 미디어가 어떤 생성 모델이나 도구로 만들어졌는지 추적하는 기능을 말합니다. 마치 범죄 현장에서 지문을 채취하듯, AI 생성 콘텐츠의 '디지털 지문'을 찾아내는 셈입니다.

 

이번에 협약을 맺은 DSRI는 UL Research Institutes 산하의 비영리 연구 조직입니다. UL Solutions를 아시는 분들은 주로 제품 안전 인증 마크로 기억하실 텐데, 바로 그 UL이 맞습니다. DSRI의 역할은 SemaFor가 개발한 기술들을 실제 제품으로 전환하고, 객관적인 테스트와 평가를 통해 신뢰성을 검증하는 것입니다.

 

특히 주목할 만한 부분은 AI FORCE(AI Forensics Open Research Challenge Evaluations)라는 공개경쟁 프로그램을 DSRI가 관리한다는 점입니다. 이 프로그램은 학술 컨퍼런스에서 연구 결과를 발표하고 보조금을 지급하는 방식으로 운영됩니다. CVPR(Conference on Computer Vision and Pattern Recognition) 같은 권위 있는 학회에서 특별 세션을 열어 기술 공유를 촉진합니다.

 

솔직히 저는 이런 오픈 생태계 접근이 상당히 실용적이라고 봅니다. 생성 AI 기술이 몇 개월마다 급격히 발전하는 상황에서, 폐쇄적인 개발로는 대응 속도를 따라잡을 수 없기 때문입니다. 제가 개인적으로 써본 일부 상용 딥페이크 탐지 도구들은 최신 생성 모델 앞에서 무용지물이 되는 경우가 많았습니다.

보안 기술 투자의 딜레마와 전망

 

UL Solutions의 주가를 보면 최근 6개월~1년 사이 상승세를 보이고 있습니다. 하지만 보안 기술 기업에 대한 투자는 항상 조심스러운 부분이 있습니다. CrowdStrike나 Palo Alto Networks 같은 대형 보안 기업들을 보면, 그 중요성은 누구나 인정하지만 투자 관점에서는 망설여지는 게 사실입니다.

 

가장 큰 이유는 보안 기술이 본질적으로 '후발적 대응'의 속성을 갖고 있다는 점입니다. 새로운 공격 기법이 나타나면 그제야 방어 기술을 개발하는 구조인데, 이 시간차가 투자 리스크로 작용합니다. 더구나 생성 AI 기술이 누구나 쉽게 접근할 수 있게 되면서, 기존 보안 기업이 아닌 곳에서도 탐지 도구를 만들어낼 가능성이 높습니다.

 

다만 UL Solutions는 순수 보안 기업이 아니라는 점에서 조금 다릅니다. 이 회사의 본질은 표준화·검사·인증 비즈니스입니다. 우리나라의 KS 마크를 떠올리시면 이해가 쉬운데, 제품이 특정 안전 기준을 만족하는지 검증하고 인증 마크를 부여하는 방식으로 수익을 냅니다. 이런 인증 비즈니스는 기술 트렌드가 바뀌어도 '검증 수요' 자체는 지속된다는 장점이 있습니다.

제 생각엔 앞으로 디지털 콘텐츠에 대한 '진위 인증' 수요가 폭발적으로 늘어날 것 같습니다. 도서관에서 책의 장르를 표시하고 출처를 명확히 하듯, 디지털 정보 생태계에서도 콘텐츠의 출처와 장르를 라벨링 하는 게 필수가 될 겁니다. DSRI의 Jill Crisman 박사도 이와 같은 맥락에서 "물리적 도서관이 픽션과 논픽션을 구분하고 출처를 표기하듯, 디지털 정보 환경에서도 동일한 기준이 필요하다"라고 강조했습니다.

 

실제로 EU는 AI Act를 통해 AI 생성 콘텐츠 표기를 의무화하는 방향으로 가고 있고, 미국도 유사한 규제를 검토 중입니다. 이런 규제 흐름 속에서 UL 같은 인증 기관의 역할은 더 커질 수밖에 없습니다. 다만 개인 투자자 입장에서는, 기술 기업 투자가 아닌 '인증 서비스 기업' 투자로 접근하는 게 맞다고 봅니다.

 

결국 딥페이크 대응 기술은 이제 선택이 아닌 필수가 됐습니다. DARPA와 DSRI의 이번 협력이 실제 시장에서 검증 가능한 제품으로 이어질지 지켜볼 필요가 있습니다. 무엇보다 중요한 건, 이런 기술 발전이 단순히 탐지에만 그치는 게 아니라 디지털 정보 생태계의 신뢰를 회복하는 데 실질적으로 기여할 수 있느냐는 점입니다. 앞으로 몇 년 안에 그 답이 나올 것 같습니다.

---

참고: https://www.darpa.mil/news/2025/furthering-deepfake-defenses
기사 :https://www.biometricupdate.com/202503/advanced-deepfake-defenses-mustering-in-india-us-south-korea

Advanced deepfake defenses mustering in India, US, South Korea | Biometric Update

 

변요한·티파니 웨딩사진에 총동원된 소녀시대?…알고 보니 | 한국경제

변요한·티파니 웨딩사진에 총동원된 소녀시대?…알고 보니