ASIMOV 프로젝트 (윤리 벤치마크, 참여 기업, 스카이넷 우려)

지난 글에서 언급했던  AI 윤리 프로젝트라고 하면 막연하게 추상적인 논의 정도로만 생각했습니다. 그런데 DARPA가 발표한 ASIMOV 프로젝트 참여 기업 명단을 보는 순간, 이게 정말 현실이 되고 있다는 걸 실감했습니다. 록히드 마틴, RTX 같은 방산 대기업들이 자율무기체계의 윤리적 판단 능력을 측정하는 벤치마크를 만들고 있다니, SF 영화가 아니라 지금 우리 시대 이야기였습니다.

 

AI 신뢰성 문제 해결 (CODORD, 편향 대책, 당위논리)

 

아이작 아시모프의 예언이 현실로

ASIMOV라는 프로젝트 이름을 처음 봤을 때 어디서 들어본 것 같았는데, 찾아보니 SF 작가 아이작 아시모프에서 따온 거였습니다. 제가 예전에 봤던 영화 '아이, 로봇'의 원작을 쓴 분이더군요. 1950년대에 이미 로봇의 윤리를 고민했다는 게 신기하면서도, 지금 우리가 똑같은 고민을 하고 있다는 사실이 놀라웠습니다.

 

아시모프는 유명한 '로봇 3원칙'을 만든 작가입니다. 로봇은 인간을 해치면 안 된다는 원칙이죠. 영화에서도 이 원칙 때문에 오히려 더 복잡한 윤리적 딜레마가 생기는 걸 봤는데, DARPA가 바로 그 문제를 해결하려는 겁니다. 자율무기체계가 실제 전장에서 인간의 윤리 기준을 따를 수 있는지 측정하겠다는 거죠.

참여 기업들을 보니 실감이 났습니다

 

저는 이전 글에서 AI 신뢰성 문제를 다루면서 윤리와 법을 적용하려는 시도가 있다고 언급했었습니다. 그때는 어떤 기업들이 참여할지 구체적으로 몰랐는데, 이번에 명단을 보고 조금 더 그림이 그려졌습니다.

 

CoVar, 키트웨어 같은 비상장 연구 기관들도 있지만, 눈에 띄는 건 역시 록히드 마틴과 RTX입니다. 우리가 보통 항공우주나 방산으로 알고 있던 기업들이죠. 실제 무기를 만드는 회사들이 이제 그 무기가 윤리적으로 판단할 수 있는지까지 측정하려는 겁니다. SAAB이나 Systems & Technology Research 같은 곳들도 참여하고 있고요.

 

개인적으로 팔란티어가 빠진 게 좀 의외였습니다. AI 관련 프로젝트면 당연히 들어갈 줄 알았거든요. 찾아보니 팔란티어는 대규모 데이터 분석에 특화되어 있고, 이 프로젝트는 윤리적 의사결정 자체에 초점을 맞추고 있어서 그런 것 같습니다.

정량적 측정이 가능할까

DARPA가 강조하는 건 '정량적 벤치마크'입니다. 윤리를 숫자로 측정하겠다는 건데, 솔직히 이게 가능한 일인가 싶었습니다. 프로그램 매니저인 클라우수티스 박사도 "우리가 하려는 게 가능한지조차 모르지만, 해야 하는 대화"라고 했습니다. 엄청나게 솔직한 인정이더군요.

 

프로젝트는 무기를 직접 만드는 게 아니라 테스트 환경을 구축하는 겁니다. 가상 시뮬레이션으로 다양한 전투 상황을 만들어서, 자율무기가 그 안에서 얼마나 윤리적으로 판단하는지 점수를 매기는 거죠. 상황의 윤리적 난이도도 측정하고, 시스템이 그 상황에서 제대로 작동하는지도 평가합니다.

 

제가 흥미로웠던 건 '지휘관의 의도 준수'를 핵심 가치로 본다는 점입니다. 군대에서는 상관의 명령을 따르는 게 기본이니까요. 하지만 그 명령이 비윤리적이라면? 이런 극단적 상황까지 벤치마크에 포함시킬지 궁금합니다.

스카이넷이 될 수도 있다는 두려움

 

이 프로젝트를 보면서 자꾸 영화 '터미네이터'의 스카이넷이 떠올랐습니다. 참여 기업 중 누군가는 결국 그렇게 될 수도 있지 않을까 하는 불안감이 들더군요. 록히드 마틴이나 RTX 같은 회사들은 이미 실제 무기를 만들고 있으니까요.

 

더 걱정되는 건 개인 무기화 가능성입니다. 만약 누군가 부도덕한 생각을 한다면, 이런 자율 시스템을 개인의 살상 무기로 쓸 수도 있습니다. DARPA는 이 프로젝트가 무기를 만드는 게 아니라고 강조하지만, 결과물은 결국 무기 시스템에 들어갈 기술이잖아요.

그래도 긍정적으로 보면, 이런 논의를 지금 공개적으로 하고 있다는 자체가 의미 있습니다. DARPA는 이 프로젝트를 전부 공개하고, 개발된 도구도 전 세계에 오픈할 계획이라고 합니다. 

 

결국 이 프로젝트의 성공 여부를 떠나서, 자율무기체계의 윤리에 대한 국제적 합의를 만드는 출발점이 될 수 있을 것 같습니다. 저는 개인적으로 이게 완벽하게 해결될 수 있다고 보지는 않습니다. 하지만 클라우수티스 박사 말대로, 안 하고 넘어가기엔 너무 중요한 문제입니다. 적어도 지금 이 순간, 누군가는 진지하게 고민하고 있다는 게 다행이라고 느껴집니다.

---

참고: https://www.darpa.mil/news/2024/asimov-approaches
기사: https://m.ch.yes24.com/article/details/21207

로봇의 법칙, 인간을 해치지 말라고? – 아이작 아시모프 <아이, 로봇> | 예스24 채널예스