기억을 위한 사고: LLM에서 추론이 파라메트릭 지식을 잠금 해제하는 방법

대규모 언어 모델(LLM)에게 단계별 추론 과정, 즉 우리가 흔히 사고 연쇄(CoT)라고 부르는 것을 생성하도록 허용하면 복잡한 작업에서 성능이 향상된다는 것은 이미 잘 알려져 있어요. 모델이 어려운 수학 방정식을 풀거나, 소프트웨어를 작성하거나, 여러 단계를 거쳐야 하는 사실 질문에 답할 때, 문제를 다루기 쉬운 논리적인 단계로 나누는 것이 아주 효과적이거든요.

그런데 단순하고 한 단계로 끝나는 사실 질문에서는 이 접근 방식의 유용성이 아직 불분명했어요. 예를 들어, "메리 앵글 페닝턴은 몇 년도에 미국 발명가 명예의 전당에 헌액되었나요?" 같은 질문을 생각해 보세요. LLM은 이 사실을 파라메트릭 메모리(모델의 가중치에 직접 인코딩된 지식)에 저장하고 있거나, 아니거나 둘 중 하나일 뿐이에요. 복잡한 계산이나 논리적 추론은 필요 없거든요. 그런데 왜 추론 과정이 도움이 될까요?

“기억을 위한 사고: LLM에서 추론이 파라메트릭 지식을 잠금 해제하는 방법”이라는 논문에서, Google Research 팀은 이 현상을 조사했어요. Google Research 팀은 모델이 추론 과정을 생성하도록 허용하면, 그렇지 않으면 사실상 도달하기 어려웠던 정답을 잠금 해제할 수 있다는 것을 보여줘요. 복잡한 추론 단계가 없을 때 왜 추론이 파라메트릭 지식 기억에 도움이 되는지 이해하기 위해, Google Research 팀은 가설 기반의 통제된 실험을 여러 번 수행했어요. 그리고 이 연구 결과는 이를 이끄는 두 가지 상호보완적인 메커니즘, 즉 연산 버퍼 효과와 사실 프라이밍 효과를 밝혀냈어요.

지식 경계 탐색

Google Research 팀은 먼저 pass@k라는 측정 지표를 사용해서 파라메트릭 지식 기억의 능력 경계를 측정했어요. pass@k는 모델이 생성한 단 하나의 답변만 확인하는 대신, 여러 번 시도하여 생성된 답변들 안에 정답이 존재하는지 확인하는 방식이에요. pass@k는 성공적인 추론 경로가 모델의 출력 분포에 존재하는지 평가하면서도, 그 정확한 순위에는 덜 민감하기 때문에, 현재 모델의 최상위 답변(top-1)만 보는 것이 아니라 사실 기억에 대한 추론의 잠재력을 추정하는 데 도움을 줘요. 파라메트릭 지식을 통제하면서 추론의 영향을 평가하기 위해, Google Research 팀은 추론을 켜거나 끌 수 있는 추론 LLM(R-LLM)에 집중했고, 이 두 모드 간의 pass@k를 비교했어요. Google Research 팀은 Gemini-2.5 (Flash 및 Pro)와 Qwen3-32B 모델에 중점을 두었고요, 두 가지 어려운 폐쇄형 QA 데이터셋인 SimpleQA Verified와 EntityQuestions를 사용했어요.

결과는 놀랍도록 일관적이었어요. 추론이 활성화될 때, 모델은 추론이 꺼져 있을 때는 사실상 복구할 수 없었던 답변들을 성공적으로 기억해냈어요. 중요한 점은 이 개선이 단지 모델이 복잡한 질문을 분해하기 때문이 아니라는 거예요. 이는 Google Research 팀이 주로 단순하고 한 단계로 끝나는 질문들로 구성된 데이터셋에 의도적으로 초점을 맞췄기 때문에 나온 결과예요.

이 결과는 이런 의문을 불러일으켜요. 만약 그 효과가 단계별 추론에서 오는 것이 아니라면, 어떤 추론 패턴이 모델이 정답을 검색하도록 하는 걸까요?

메커니즘 1: 연산 버퍼

Google Research 팀의 첫 번째 가설은 생성 메커니즘에 초점을 맞췄어요. Google Research 팀은 추가 토큰을 생성하는 것이 추가적인 순방향 패스(forward pass)를 제공함으로써 연산 시간을 늘리는 효과를 낸다는 오랜 가설을 가져와 R-LLM의 파라메트릭 지식 기억이라는 새로운 환경에서 이를 테스트했어요. 특히, 모델이 생성되는 실제 의미론적 내용과는 독립적으로, 이러한 추론 토큰을 암묵적으로 연산 버퍼로 사용해서 잠재적인 처리를 수행한다고 Google Research 팀은 가정했어요.

이를 테스트하기 위해 Google Research 팀은 추론 과정에서 모든 의미 있는 내용을 제거하는 실험을 설계했어요. Google Research 팀은 모델의 추론 과정을 가로채서, 모델이 생성한 추론 과정을 원래 추론 과정의 길이와 같아질 때까지 "생각 좀 해볼게요"라는 무의미한 문자열로 반복해서 대체했어요. 그런 다음 이 더미 텍스트에 기반하여 모델이 최종 답변을 예측하도록 했어요.

놀랍게도, 이 무의미한 추론 과정을 모델에 조건으로 제공했을 때, 추론이 완전히 꺼져 있는 기준선에 비해 정답을 기억해내는 능력이 상당히 향상되었어요. 이는 단순히 모델에 더 많은 연산 활주로(시간)를 제공하는 것이 내부 상태를 정교화하고 찾기 어려운 사실들을 가져오는 데 도움이 된다는 강력한 증거를 제공해요.

하지만 이 연산 버퍼 효과에도 한계는 있었어요. 더미 텍스트 길이를 늘릴수록 결국 효용이 감소했고, 모델의 자연스러운 추론 과정의 성능에는 완전히 미치지 못했어요. 이는 추가 연산이 도움이 되긴 하지만, 생각의 실제 내용 역시 여전히 중요하다는 것을 의미해요.

메커니즘 2: 사실 프라이밍

Google Research 팀이 단순한 사실 질문에 대해 생성된 자연스러운 추론 과정을 분석했을 때, 한 가지 공통된 패턴을 발견했어요. 모델들은 논리적인 증명을 작성하는 것이 아니라, 관련 사실들을 떠올리고 있었어요.

인간 인지에는 확산 활성화라는 개념이 있는데, 특정 개념을 처리하면 의미 기억 속에 있는 관련 개념들을 활성화시켜서 더 쉽게 검색할 수 있도록 만들어요. Google Research 팀은 언어 모델도 이와 유사한 생성적 자기-검색 메커니즘을 보인다고 가정하는데, 이를 _사실 프라이밍_이라고 불러요. 질문과 주제적으로 관련된 사실들을 생성함으로써, 모델은 정답 검색을 용이하게 하는 문맥적 다리를 놓는 셈이에요.

가설을 테스트하기 위해 Google Research 팀은 모델의 추론 과정에서 구체적인 사실들만 추출했고, 채우기 텍스트, 검색 계획, 또는 최종 목표 답변에 대한 명시적인 언급을 제거하기 위해 엄격한 필터링을 적용했어요. 그런 다음 기억된 사실들의 효과를 분리해서, 기억된 사실들의 짧은 목록에 기반하는 것이 추론으로 인한 이득의 대부분을 회복시키고 추론이 꺼져 있을 때도 도움이 된다는 것을 보여줘요.

예를 들어, 네팔의 10대 왕의 이름을 물으면, 추론 모델은 먼저 이전 아홉 왕의 이름을 나열할 수도 있어요. 그 처음 아홉 명을 기억해내는 것이 의미론적인 준비 운동 역할을 해서, 10대 왕을 성공적으로 기억해내도록 네트워크를 프라이밍하는 거죠. 사실 그 자체가 디딤돌이 되는 셈이에요.

환각(Hallucination)의 함정

생성적 자기-검색은 강력한 메커니즘이지만, 근본적인 위험을 초래하기도 해요. 모델이 이러한 중간 사실들을 스스로 생성하기 때문에, 그것들이 환각(Hallucination)일 수도 있거든요. 그래서 Google Research 팀은 이러한 추론 단계의 오류가 최종 답변에 어떻게 영향을 미치는지 확인했어요. 이를 알아내기 위해, Google Research 팀은 검색 가능한 검증기(verifier)를 사용해서 수십만 개의 추론 과정에서 생성된 모든 중간 사실의 정확성을 독립적으로 확인하는 대규모 감사 파이프라인을 구축했어요.

감사는 명확한 패턴을 보여줬어요. 만약 추론 과정에 단 하나의 환각(Hallucination)적인 중간 사실이라도 포함되어 있다면, 모델이 올바른 최종 답변에 도달할 가능성이 상당히 낮아진다는 거예요. 이는 사실 프라이밍 메커니즘이 효과적이긴 하지만, 취약할 수 있다는 것을 시사해요.

더 신뢰할 수 있는 모델 구축하기

이러한 메커니즘을 이해하는 것은 모델의 신뢰도를 개선하기 위한 실용적인 방법을 제공해요. 사실 프라이밍이 효과적이고 환각적인 중간 사실이 성능을 저하시키기 때문에, Google Research 팀은 이 두 가지 통찰력을 활용해서 모델 정확도를 개선할 수 있었어요. 이러한 통찰력의 잠재력을 평가하기 위해, Google Research 팀은 단일 질문에 대해 여러 추론 경로를 생성하고, 그중 검증 가능하며 환각(Hallucination)이 없는 사실을 포함하는 경로만 유지하는 테스트 시점 선택 전략을 사용했어요. 이러한 경로에 우선순위를 부여하자 정확도가 상당히 향상되었어요. 실제로는 이 우선순위 부여는 사실에 기반한 중간 단계를 장려하는 프로세스 보상을 통해 훈련 중에 구현될 수 있어요.

결론

Google Research 팀의 연구 결과는 언어 모델의 추론이 단순히 작업을 분해하거나 수학적 논리를 해결하는 것보다 훨씬 더 넓은 목적을 가진다는 것을 강조해요. 추론은 모델의 내부 메모리를 드러내고 파라메트릭 지식의 경계를 확장하는 근본적인 메커니즘으로 작용하는 거죠. 이러한 통찰력은 미래 연구에 흥미로운 방향을 제시해요. 사실적으로 정확한 추론 과정이 더 나은 답변을 이끌어낸다는 것을 알게 되었으니, 훈련 방식을 더욱 최적화할 수 있을 거라는 뜻이에요. 특히 사실에 기반한 중간 단계를 장려하는 프로세스 보상을 활용하면, 본질적으로 더 신뢰할 수 있고 환각(Hallucination)에 덜 취약한 모델을 훈련할 수 있을 거예요. Google Research 팀은 연구 커뮤니티가 추론, 기억, 검색의 교차점을 계속해서 어떻게 탐구해 나갈지 기대하고 있어요.

감사의 말씀

이 연구는 Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig가 수행했어요. 연구를 검토하고 소중한 제안을 해주신 Eyal Ben-David와 Avinatan Hassidim께 감사드립니다.