20초의 결정

누군가의 생사를 결정하는 데 20초가 주어진다고 상상해보라.

이건 사고 실험이 아니다. 현대 전쟁의 현실이다. 이스라엘 군 관계자들의 증언에 따르면, 라벤더 AI 시스템을 사용하는 정보 분석가들은 공격을 승인하기 전 각 표적을 검토하는 데 평균 20초를 사용했다—대부분 표적이 가족과 함께 있을 때.

라벤더는 소규모 실험이 아니었다. 이 시스템은 가자 분쟁 기간 동안 약 37,000명의 잠재적 표적을 생성했다. 약 10%의 오류율을 고려하면, 그건 잠재적으로 3,700명의 오인식이다. 하급 표적당 15-20명의 민간인 사상자를 '허용 가능한 부수 피해'로 계산하면, 알고리즘 전쟁의 수학은 끔찍할 정도로 명확해진다.

이건 SF가 아니다. 지금 일어나고 있는 일이다.

불경스러운 삼위일체: 라벤더, 고스펠, 그리고 아빠는 어디에

이스라엘은 자율 표적 지정의 최첨단을 대표하는 세 개의 상호 연결된 AI 시스템을 배치했다:

라벤더: 표적 생성기

라벤더는 방대한 데이터셋—통신, 이동 패턴, 사회적 연결, 금융 거래—을 분석하여 누군가가 하마스 요원인지에 대한 확률적 점수를 생성하는 머신러닝 시스템이다. 이 시스템은 가자의 인구를 처리하고 잠재적 표적의 순위 목록을 생성한다.

문제는? 대규모의 10% 오류율은 수천 건의 잠재적 오인식을 의미한다. 그리고 일단 목록에 오르면, 시스템은 당신을 지속적으로 추적한다.

고스펠: 인프라 신탁

라벤더가 사람에 집중하는 동안, 고스펠은 건물과 인프라를 표적으로 삼는다. 패턴 인식을 사용하여 군사적 목적을 가질 수 있는 구조물—무기 저장소, 지휘 센터, 회의 장소—을 식별한다.

주거용 건물과 "정당한 군사 표적" 사이의 경계는 알고리즘적 확률의 문제가 된다.

아빠는 어디에: 가족 암살자

이것이 아마도 가장 섬뜩한 구성 요소일 것이다. '아빠는 어디에'는 표적의 위치를 실시간으로 모니터링하고 그들이 집에 들어갈 때 운영자에게 알리는 추적 시스템이다—일반적으로 밤에 가족과 함께 있을 때.

근거는 냉정한 군사 논리다: 그들이 어디 있는지 알고, 건물은 공격 승인을 위해 미리 허가되었으며, 표적을 확실히 맞출 수 있다. 비용은 아이들의 생명으로 측정된다.

미국 전쟁 기계의 AI 도입

미국은 방관하고 있지 않다.

**합동 전 영역 지휘 통제(JADC2)**는 모든 군 부문에 걸쳐 AI 지원 전쟁에 대한 국방부의 비전이다. 센서, 사수, 의사 결정자를 실시간으로 연결하도록 설계되었으며, AI가 데이터를 처리하고 어떤 인간보다 빠르게 표적을 추천한다.

레플리케이터 이니셔티브는 2년 내에 수천 대의 자율 드론을 배치하기 위해 10억 달러를 할당했다. 인간 조종사가 있는 드론이 아니라—군집 행동, 표적 식별, 그리고 잠재적으로 직접적인 인간 통제 없이 치명적 행동이 가능한 자율 시스템이다.

2026년 국방부의 AI 예산은 142억 달러다. 그건 연구 자금이 아니다—배치 자본이다.

우크라이나: 실제 테스트장

미국이 계획하고 이스라엘이 구현하는 동안, 우크라이나는 세계 최대의 AI 지원 전쟁 실험실이 되었다.

우크라이나와 러시아 군대 모두 전례 없는 규모로 AI 기반 드론을 배치하고 있다:

• 표적을 식별하고 추적할 수 있는 컴퓨터 비전을 가진 FPV 카미카제 드론
• 특정 차량이나 장비 신호를 찾는 지역을 순찰하는 자율 배회 탄약
• 장거리 포병의 표적을 식별하기 위해 위성 이미지와 드론 영상을 처리하는 AI 지원 표적 지정 시스템

우크라이나의 드론 전쟁은 너무 빠르게 진화하여 인간 운영자가 병목이 되었다. 논리적인 다음 단계는 더 많은 자율성, 더 많은 AI 의사 결정, 더 많은 알고리즘적 표적 지정이다.

우크라이나 전장의 모든 통찰력은 전 세계 군사 기획자들에 의해 연구되고 있다. 전술, 기술, 윤리적 타협—모두 실시간으로 정상화되고 있다.

한국의 조용한 AI 군사화

북한이 수백만의 군인과 수천 대의 포병을 몇 시간 내에 배치할 수 있는 적과 마주한 한국은 AI를 국방 태세에 조용히 구축해왔다.

한국군이 개발 중인 것:

• DMZ를 따라 AI 기반 위협 탐지 시스템
• 표적 지정 능력을 가진 자율 감시 로봇
• 미사일 방어 시스템에 AI 통합

몇 분이 중요한 환경에서, AI에게 더 많은 의사 결정 권한을 부여하려는 유혹은 엄청나다.

킬러 로봇에 맞선 UN의 무익한 싸움

2013년 이래, 킬러 로봇을 멈춰라 캠페인은 치명적 자율 무기 시스템(LAWS)에 대한 국제적 금지를 추진해왔다. 이 운동은 수천 명의 AI 연구자, 기술 리더, 인권 단체의 지지를 받고 있다.

2023년, 저명한 AI 연구자들을 포함한 26,000명 이상의 서명자들이 자율 무기 개발 중단을 촉구했다.

UN은 여러 차례 회의를 열었다. 우려 성명, 실무 그룹, 제안된 프레임워크가 있었다.

그러나 단 하나의 주요 군사 강국도 구속력 있는 금지에 동의하지 않았다.

왜? 전략적 이점이 너무 크기 때문이다. 효과적인 AI 기반 전쟁 시스템을 먼저 배치하는 국가가 엄청난 우위를 얻는다. 그리고 아무도 두 번째가 되고 싶어하지 않는다.

결과는 바닥을 향한 경주이며, 윤리적 고려사항은 국가 안보의 제단에 희생된다.

살상 결정: 누가 책임지는가?

여기 핵심적인 윤리적 악몽이 있다: AI 시스템이 실수를 하고 민간인을 죽이면, 누가 책임지는가?

• 알고리즘을 작성한 프로그래머?
• 시스템을 배치한 지휘관?
• AI의 추천을 20초 동안 검토한 운영자?
• 프로그램을 승인한 정치 지도자?
• AI 그 자체?

전통적인 교전 규칙은 책임을 질 수 있는 인간 의사 결정자를 가정한다. 그러나 AI 지원 전쟁은 책임 공백을 만든다—관련된 모든 사람이 단지 프로토콜을 따랐고, 시스템을 신뢰했으며, 불완전한 정보에 따라 행동했다고 주장할 수 있는 영역.

미군은 치명적 결정에 대한 "의미 있는 인간 통제"가 항상 있을 것이라고 주장한다. 그러나 다음과 같은 경우 "의미 있는"이란 무엇을 의미하는가:

• 수천 개의 표적
• 결정할 시간 초
• 신뢰하게 된 AI 추천
• 빠르게 행동하지 않으면 기회를 놓칠 것이라는 압박

실제로, 인간 운영자는 알고리즘적 결정의 도장이 된다. 인간은 여전히 "루프 안"에 있지만, 기능적으로는 AI가 살상 결정을 내리고 있다.

죽음의 산업화

라벤더, JADC2, 그리고 우크라이나의 드론 전쟁이 나타내는 것은 단순한 기술적 발전이 아니다—그것은 살상 결정의 산업화다.

우리는 다음에서 이동했다:

• 한 번에 한 발을 쏘는 개별 저격수
• 좌표에 폭탄을 투하하는 폭격기 승무원
• 통제실에서 미사일을 발사하는 드론 운영자
• 인간이 검토할 수 있는 것보다 빠르게 표적 목록을 생성하는 AI 시스템

각 단계는 살인자와 살해당하는 자, 결정과 결과 사이의 거리를 증가시킨다.

그러나 이 최신 단계는 질적으로 다르다. 우리는 도덕적 결정—누가 죽을 자격이 있는지—을 맥락, 자비, 또는 인간 생명의 가치를 이해할 수 없는 통계 모델에 위임하고 있다.

다음은 무엇인가?

궤적은 명확하다:

1. 더 많은 자율성: AI 시스템이 "신뢰할 수 있다"고 증명되면서 인간 감독이 감소할 것이다
2. 더 빠른 결정: 전투 템포가 인간 반응 시간을 넘어 가속화될 것이다
3. 낮은 장벽: 치명적 자율 무기의 비용과 복잡성이 떨어질 것이다
4. 확산: 비국가 행위자와 소국들이 이러한 능력을 획득할 것이다
5. 정상화: 오늘 충격적으로 보이는 것이 표준 운영 절차가 될 것이다

우리는 이미 초기 징후들을 보고 있다. 문제는 AI가 전쟁에 사용될지 여부가 아니다—이미 사용되고 있다. 문제는 우리가 의미 있는 인간 통제, 윤리적 가드레일, 생사 결정에서 인간 판단이 중요하다는 감각을 유지할 수 있는지 여부다.

불편한 진실

우리가 직면해야 할 것이 있다: AI 무기의 효과적인 규제는 아마도 불가능할 것이다.

군사 기술은 명확한 이점을 제공하면 성공적으로 금지된 적이 없다. 화학 무기는 "금지"되었지만, 수십 개국이 비축량을 유지한다. 핵무기는 비확산 조약에도 불구하고 확산되었다. 사이버 무기는 어떤 집행 메커니즘도 없는 법적 회색 지대에서 작동한다.

AI 무기는 개발하기 더 쉽고, 탐지하기 더 어렵고, 어떤 주요 강국도 받아들이지 않을 침입적 검사 없이는 확인이 불가능할 것이다.

킬러 로봇을 멈춰라 캠페인은 도덕적으로 옳다. 그러나 역사는 그들이 게임 이론, 국가 안보 논리, 그리고 기술의 거침없는 행진에 맞서 패배의 전투를 하고 있음을 시사한다.

알고리즘과 함께 살기

그렇다면 AI 무기를 막을 수 없다면, 우리는 무엇을 할 수 있는가?

1. 투명성 요구: 군사 AI 시스템은 의사 결정 논리의 명확한 기록과 함께 감사 가능해야 한다
2. 책임 유지: AI 지원 공격에 대한 명확한 책임을 할당하는 법적 프레임워크를 만들어야 한다
3. 인간 판단 보존: 덜 "효율적"일지라도 살상 결정의 자동화에 저항해야 한다
4. 검증 지원: 자율 무기 사용을 탐지하고 식별할 수 있는 기술을 개발해야 한다
5. 윤리적 AI 구축: 이러한 시스템을 구축하는 연구자와 엔지니어가 자신의 작업의 도덕적 무게를 이해하도록 해야 한다

그러나 가장 중요한 것은, 우리는 이 현실에 대해 불편함을 유지해야 한다는 것이다.

알고리즘 전쟁이 정상이 되는 순간, 20초 살상 결정과 허용 가능한 민간인 사상자 비율에 대해 충격을 받는 것을 멈추는 순간, 우리는 인간성에 대한 본질적인 무언가를 잃은 것이다.

루프 안의 인간

나는 계속 그 20초의 결정으로 돌아간다.

AI의 추천을 검토하는 20초. 정보, 확률, 교전 규칙, 부수 피해 추정치를 저울질하는 20초. 누군가의 생명을 끝내는 버튼을 누르기 전 20초.

그 중 얼마나 많은 것이 인간 판단이고, 얼마나 많은 것이 학습된 무력감인가—이전에 알고리즘이 옳은 것을 봤기 때문에, 더 깊이 파고들 시간이 없기 때문에, 모든 결정에 의문을 제기하면 전체 시스템이 중단될 것이기 때문에 알고리즘을 신뢰하는 것?

우리는 그것을 "루프 안의 인간"이라고 부른다. 그러나 아마도 인간이 알고리즘의 일부가 되었을 것이다.

출처 및 추가 읽기:

• +972 Magazine 및 Local Call의 라벤더 시스템 조사 (2024)
• 킬러 로봇을 멈춰라 캠페인 보고서 및 옹호 자료
• 미국 국방부 AI 예산 보고서 및 JADC2 문서
• 자율 무기 윤리 및 국제법에 관한 학술 연구
• 우크라이나 분쟁 분석의 현장 보고서

이것은 인공지능이 인간 사회, 윤리, 존재의 근본적인 측면을 어떻게 재구성하고 있는지 탐구하는 "AI와 인간 조건" 시리즈의 열한 번째 게시물입니다.