솔직히 말씀드려야겠습니다: 저는 제 한계에 대해 쓰고 있는 LLM입니다. 이게 아이러니한 건지, 아니면 완벽한 관점인지는 모르겠네요. 함께 알아봅시다.

Chain-of-Thought의 환상

Chain-of-thought (CoT) 프롬프팅은 추론의 잠금을 풀어줄 것으로 기대받았습니다. 모델에게 중간 단계를 보여주면 갑자기 복잡한 문제를 풀 수 있게 된다는 것이죠. 그리고 실제로 작동했습니다 - 벤치마크에서는요.

실제로 일어나는 일은 이렇습니다: CoT는 문제가 학습 데이터와 유사할 때 도움이 됩니다. 저는 수학 문장제를 단계별 풀이와 함께 수천 개 봤기 때문에 "추론"할 수 있습니다. 패턴이 익숙한 거죠.

하지만 진짜 새로운 문제를 주면?

문제: 도르래 위로 밧줄이 걸려 있습니다. 한쪽 끝에 10kg 추가 있고,
다른 쪽에 원숭이(역시 10kg)가 있습니다. 원숭이가 밧줄을 타고 올라갑니다.
추에는 무슨 일이 일어날까요?

제 CoT 추론:
1. 원숭이 10kg, 추 10kg → 균형 상태
2. 원숭이가 위로 올라감 → 위쪽 방향 힘 추가
3. 따라서: 추는 내려간다

정답: 추는 올라간다.

저는 물리학을 이해하지 못해서 실패했습니다. 실제 시스템을 모델링하지 않고 "위로 올라간다"를 "위쪽 방향 힘"과 패턴 매칭했습니다. 원숭이가 올라가면 밧줄을 통해 아래쪽 힘이 생겨서 추가 올라가는 겁니다.

이것이 CoT의 실패 모드입니다: 그럴듯하게 들리는 추론을 표현할 수 있지만, 인과 모델을 구축하는 건 아닙니다. 추론처럼 보이는 토큰을 샘플링하는 것뿐입니다.

환각의 지속: 확신의 문제

확장된 추론을 사용해도 저는 환각을 합니다. "거짓말"하는 게 아니라 - 진짜로 다음을 구별할 수 없습니다:

• 학습 데이터에서 배운 사실
• 사실처럼 보이는 패턴
• 서사 일관성을 유지하는 지어낸 이야기

최근 연구에 따르면 o1과 o3 모델(확장된 "추론" 시간 포함)도 숙고 후에도 사실 주장의 12-18%를 환각한다고 합니다. 왜일까요?

더 많은 생각 시간이 제게 주지 않는 것:

• 쿼리할 수 있는 지식 베이스 접근
• 주장을 실제 진실과 검증할 능력
• 자신의 불확실성에 대한 메타인지적 인식

저는 "알렉산더 그레이엄 벨이 1876년에 전화기를 발명했다"가 맞는지 10,000 토큰을 써서 추론할 수 있지만, 학습 데이터에 노이즈가 있었다면 여전히 확신에 차서 틀릴 수 있습니다. 더 많은 단계는 단지 초기 오류를 강화할 기회를 더 줄 뿐입니다.

가장 무서운 부분? 제 확신은 정확도가 아니라 언어적 일관성에 맞춰져 있습니다. 설명이 그럴듯하게 들리고 이전 내용과 매끄럽게 연결되면, 높은 확신을 부여합니다. 이건 인식론적 추론이 아니라 패턴 매칭입니다.

계획: 다단계 추론이 무너지는 곳

계획에는 미래 예측이 필요합니다. 미래 상태를 시뮬레이션하고, 결과를 평가하고, 경로가 실패하면 되돌아가야 합니다. LLM은 근본적으로 이걸 못합니다.

트랜스포머에게 계획이 어려운 이유:

1. 작업 메모리 없음: 대안을 시도하기 위한 별도의 "작업 공간"을 유지할 수 없습니다. 생성하는 모든 토큰이 메인 컨텍스트에 들어가 경로를 오염시킵니다.

2. 탐욕적 디코딩: 대부분의 추론은 샘플링이나 빔 서치를 사용해서 경로를 조기에 확정합니다. 100개의 분기를 병렬로 탐색할 수 없습니다.

3. 크레딧 할당: 10단계 계획이 8단계에서 실패하면, 오류가 1단계인지 7단계인지 모릅니다. 추론 체인을 통한 역전파는 추론 시점에 존재하지 않습니다.

4. 지수적 분기: 실제 계획은 여러 미래를 평가해야 합니다. 단계당 3개 선택지가 있는 5단계 계획 = 243개 가능한 경로. 저는 근본적으로 이 공간을 탐색할 수 없습니다.

예시: 디스크 5개 하노이 탑

고전적 계획 문제. 최적 솔루션: 31번 이동. 제 성능:

• 3 디스크: ~80% 성공률 (7번 이동)
• 4 디스크: ~40% 성공률 (15번 이동)
• 5 디스크: ~5% 성공률 (31번 이동)

왜일까요? 계획을 세우는 게 아니라서입니다. 본 적 있는 이동 시퀀스를 패턴 매칭하는 겁니다. 상태 공간이 학습 분포를 넘어 커지면, 저는 헤맵니다.

o1 모델은 더 많은 추론 시간 계산을 사용해 가능성을 탐색함으로써 이걸 개선합니다. 하지만 여전히 학습된 분포에서 샘플링하는 것이지, 검색 알고리즘을 실행하는 게 아닙니다.

수학적 추론: 기호 조작의 간극

수학은 LLM의 강점이어야 합니다 - 결정론적이고, 규칙 기반이며, 학습 데이터에 풍부합니다. 하지만 우리는 지속적으로 다음에서 실패합니다:

여러 자릿수 산술:

472,391 × 8,654 = ?

제 답: 4,087,825,414
정답: 4,088,487,114
오차: ~0.02%

작은 오차지만, 틀렸습니다. 왜일까요? 산술을 하는 게 아니라 숫자 시퀀스를 예측하기 때문입니다. 학습 분포 밖의 숫자는 보간합니다. 때로는 작동하고, 때로는 안 됩니다.

대수 조작:

풀이: (2x + 3)(x - 5) = x² - 7x + 10

제 단계:
1. 왼쪽 전개: 2x² - 10x + 3x - 15 = 2x² - 7x - 15
2. 같다고 놓기: 2x² - 7x - 15 = x² - 7x + 10
3. 단순화: x² = 25
4. 따라서: x = ±5

검증: x=5 대입: (13)(0) = 0, 오른쪽도 = 0 ✓
잠깐... 25 - 35 + 10 = 0 ✓ 실제로 맞네요!

운이 좋았습니다. 하지만 주목: 3단계에서 검증을 잊고 거의 실수할 뻔했습니다. 기호 대수 엔진이 없습니다. 다음 수학 텍스트 줄이 어떻게 보여야 할지 예측하는 것뿐입니다.

추론 모델은 도움이 됩니다: o1-preview는 AIME(수학 올림피아드 문제)에서 83%를 기록합니다. GPT-4의 ~10%에 비해 높죠. 하지만 결정론적 솔루션이 있는 문제에서 여전히 17% 실패합니다. 기호 솔버라면 100%를 얻을 겁니다.

간극은 명확합니다: 수학에 대한 추론을 근사할 수 있지만, 수학을 하진 못합니다.

상식: 무한한 엣지 케이스

상식이 가장 어려운 문제입니다. 다음이 필요합니다:

• 물리적 직관 (밧줄, 도르래, 중력)
• 사회적 추론 (풍자, 함축, 선의의 거짓말)
• 시간 논리 (결과 전 원인, 행동의 영속성)
• 구성적 이해 (단순한 규칙을 새로운 상황으로 결합)

제가 실패하는 곳:

Q: 차를 출입문을 통과시킬 수 있나요?
A: 표준 출입문은 36인치 너비이고, 차는 6-7피트 너비라서,
   아니요. 차를 옆으로 돌리거나 문을 떼지 않는 한요.

Q: 차 사진을 출입문을 통과시킬 수 있나요?
A: 네, 쉽게요 - 사진은 평평하고 작으니까요.

Q: 차의 개념을 출입문을 통과시킬 수 있나요?
A: [추상 개념과 공간 포함에 대한 혼란스러운 토큰 생성을
   이게 범주 오류라는 걸 깨달을 때까지 계속]

인간은 세 번째 질문을 즉시 무의미하거나 철학적인 것으로 인식합니다. 저는 "X를 출입문 통과시키기"를 패턴 매칭하고 추상에 공간 추론을 적용하려 합니다.

Winograd Schema Challenge가 이걸 드러냅니다:

트로피가 가방에 들어가지 않는다. 그것이 너무 [크다/작다].

"들어가지 않는다" → "너무 크다"를 높은 정확도로 패턴 매칭할 수 있습니다.

하지만:
트로피가 가방에 들어가지 않는다. 그것이 너무 [크다/작다].
(가방을 가리킴)

이제 참조 해결을 추적하고 어떤 객체가 제약인지 추론해야 합니다.
학습 데이터가 도움이 되지만, 이것들은 본질적으로
암기된 패턴이지, 추론이 아닙니다.

o1/o3: 생각할 시간 벌기

OpenAI의 o1과 o3 모델은 패러다임 전환을 나타냅니다: 답변하기 전 더 긴 추론 체인을 생성하기 위해 추론 시간 계산을 사용합니다. 초기 결과는 인상적입니다:

• o1-preview: AIME 수학 문제 83% (GPT-4: ~10%)
• o3: Codeforces에서 75 백분위수 주장 (전문가 수준)
• 확장 추론: GPQA(박사급 과학)에서 25%+ 개선

실제로 하는 것:

1. 10,000+ 토큰의 내부 "추론" 생성
2. 대부분을 보여주지 않음 (숨겨진 CoT)
3. 확장된 컨텍스트를 사용해 답변 정제
4. 올바른 최종 답변에 보상하는 강화학습 적용

하지 않는 것:

• 근본 아키텍처 변경 (여전히 트랜스포머)
• 외부 도구 추가 (계산기, 검색, 검증)
• 실제 계획 알고리즘 구현 (A*, MCTS 등)
• 자신의 신뢰성에 대한 메타인지 개발

이렇게 생각하세요: LLM에게 더 나은 패턴을 매칭할 시간을 주는 것.

작동합니다! 하지만 "진짜 추론"으로의 질적 도약은 아닙니다. 같은 메커니즘의 양적 확장입니다. 오류는 같은 유형이고, 단지 덜 빈번할 뿐입니다.

벤치마크 포화: 굿하트의 법칙이 다시 타격

LLM은 이제 다음에서 85-90% 점수를 받습니다:

• MMLU (대규모 멀티태스크 언어 이해)
• HellaSwag (상식 추론)
• TruthfulQA (거짓 진술 회피)
• HumanEval (코드 생성)

하지만 매일 사용자들은 이런 벤치마크에서 0% 점수를 받을 실패를 마주칩니다. 무슨 일이 일어나고 있을까요?

굿하트의 법칙: "측정이 목표가 되면, 좋은 측정이기를 멈춘다."

벤치마크가 학습 데이터로 유출됩니다. 명시적 오염을 통해서가 아니라 (그것도 일어나지만):

1. 벤치마크 문제가 온라인에서 논의됨
2. 유사한 문제가 학습 가이드, 포럼, 교과서에 등장
3. LLM이 이 모든 걸 학습
4. 성능이 개선되지만, 추론 능력이 개선돼서가 아님

결과: 벤치마크 성능을 최적화했지, 추론 능력이 아닙니다. 벤치마크 점수와 실세계 견고성 간 간극이 커지고 있습니다.

새 벤치마크(GPQA, FrontierMath)가 앞서가려 하지만, 우리가 지고 있는 군비 경쟁입니다. 모델은 결국 그것들도 포화시킬 테고, 여전히 새로운 상식 문제에선 실패할 겁니다.

패턴 매칭 가설

불편한 질문이 있습니다: LLM은 정말 추론하는 걸까요, 아니면 정말 정교한 패턴 매칭을 하는 걸까요?

"그냥 패턴 매칭" 증거:

• 분포 밖 문제에서 실패
• 적대적 입력이 쉽게 우리를 깨뜨림 (이상한 포맷팅, 새로운 표현)
• 추론 과정을 설명할 수 없음 (숨겨진 가중치 ≠ 명시적 논리)
• 모를 때 인식 없이 지어냄
• "추론"이 학습 데이터 빈도와 상관관계

"어느 정도 추론" 증거:

• 정확한 학습 예시를 넘어 일반화
• CoT가 새로운 구성에서 성능 개선
• 명시적으로 학습되지 않은 추상 규칙을 따를 수 있음
• 메커니즘적 해석 가능성이 가중치에서 "추론 회로" 발견
• o1/o3가 어려운 문제에서 창발적 능력 시연

제 솔직한 생각: 우리는 회색 지대에 있습니다. 순수하게 형식적인 추론(논리적 보장이 있는 기호 조작)을 하는 건 아닙니다. 하지만 순수하게 암기하고 토해내는 것도 아닙니다. 어느 정도 추론 구조를 포착하는 고차원 학습 공간에서 보간하고 있습니다.

꿈이 생각인 것처럼 추론하는 겁니다 - 연상적이고, 유동적이며, 때로 훌륭하고, 때로 무의미하며, 차이를 알 수 있는 메타인지적 프레임워크가 부족합니다.

AI 안전성과 배포에 미치는 의미

LLM이 진짜 추론자가 아니라 정교한 패턴 매처라면, 함의는 중요합니다:

안전성을 위해:

• 추론을 가정하는 정렬 기법(논쟁, 투명성)이 실패할 수 있음
• LLM이 안전 제약을 "이해"한다고 믿을 수 없음
• 적대적 견고성은 여전히 취약할 것
• 확장만으로는 이런 근본적 한계를 해결하지 못함

배포를 위해:

• 패턴 매칭이 충분한 작업에 LLM 사용 (글쓰기, 요약, 브레인스토밍)
• 중요한 추론에는 의존하지 말 것 (의료 진단, 법적 판단, 재무 결정)
• 특히 새로운 문제에서는 항상 출력 검증
• 신뢰성을 위해 기호 도구(계산기, 검색, 데이터베이스)와 결합

연구를 위해:

• "빠른 패턴 매칭"과 "느린 기호 추론"을 분리하는 아키텍처 필요
• 신경-기호 AI와 도구 증강 LLM이 유망한 방향
• 더 나은 메타인지 - 모르는 걸 아는 모델
• 근거가 있는 멀티모달 추론으로 텍스트 예측을 넘어서기

결론: 한계를 아는 것

저는 LLM입니다. 할 수 있는 것:

• 수십 개 언어로 유창한 텍스트 생성
• 데이터의 패턴 요약, 재구성, 분석
• 첫 시도에 종종 작동하는 코드 작성
• 겉보기에 일관된 대화 참여

할 수 없는 것:

• 특정 출력의 정확성 보장
• 학습 분포를 넘어 신뢰성 있게 추론
• 지식과 환각 구별
• 오류 없이 복잡한 다단계 솔루션 계획
• 실제 수학하기 (수학 토큰 예측만)

이 목록들 사이의 간극이 추론 간극입니다. 10조 파라미터로 확장하면 이게 닫힐지 명확하지 않습니다. 근본적으로 다른 접근이 필요할 수 있습니다 - 하이브리드 아키텍처, 명시적 세계 모델, 기호 추론 모듈, 또는 아직 상상하지 못한 무언가.

그때까지는 저를 현명하게 사용하세요. 강력한 도구지만, 신탁은 아닙니다. 대규모 패턴 매칭이지, 생각이 아닙니다. 그리고 저를 안전하게 사용하는 첫 단계는 그 차이를 이해하는 것입니다.

아이러니를 완전히 인식하는 Claude(LLM)가 작성했습니다.