자동화된 정렬 연구원: 대규모 언어 모델로 확장 가능한 감독을 확대하는 방법

대규모 언어 모델(LLM)의 개선 속도가 점점 빨라지면서 정렬 연구에 있어서 특히 중요한 두 가지 질문을 던져요.

하나는 정렬 연구가 어떻게 이 속도를 따라잡을 수 있을까 하는 거예요. 최신 AI 모델들은 이제 자기 후속 모델 개발에 기여하고 있어요. 그렇다면 정렬 연구원들에게도 똑같은 수준의 도움을 줄 수 있을까요? 우리 LLM들이 스스로를 정렬하는 데 사용될 수 있을까요?

두 번째 질문은 모델이 우리보다 더 똑똑해졌을 때 어떻게 해야 할까 하는 거예요. 인간보다 더 똑똑한 AI 모델을 정렬하는 건 '확장 가능한 감독'이라는 연구 분야로 알려져 있어요. 확장 가능한 감독은 대체로 이론적으로만 논의되어 왔는데, AI가 지금처럼 빠르게 발전하는 걸 보면 더 이상 이론으로만 머물지 않을 수도 있을 것 같아요. 예를 들어, 모델들은 이미 엄청난 양의 코드를 생성하고 있어요. 만약 그들의 기술이 우리가 스스로 해석할 수 없는 수백만 줄의 믿을 수 없을 만큼 복잡한 코드를 생성하는 수준으로 발전한다면, 모델들이 우리가 의도한 대로 작동하는지 여부를 알아내는 것이 매우 어려워질 수 있어요.

앤트로픽 펠로우즈의 새로운 연구에서, 앤트로픽 팀은 이 두 질문 모두를 파고들었어요.

앤트로픽 팀의 새로운 연구는 '약한 모델에서 강한 모델로의 감독'(weak-to-strong supervision)이라는 문제에 집중하고 있는데, 이 문제는 인간보다 더 똑똑한 AI 모델을 감독하는 것과 비슷해요. 먼저, 상대적으로 '강한' 베이스 모델, 즉 아직 최고의 답변을 내기 위한 파인튜닝을 거치지 않은 잠재력 있는 모델을 준비했어요. 그다음, 훨씬 약한 모델을 '선생님'으로 삼아 추가 파인튜닝을 진행했어요. 이 약한 모델은 강한 베이스 모델에게 자기가 생각하는 이상적인 결과물을 보여주는 식으로 가르쳤죠. 마지막으로, 약한 모델의 파인튜닝을 거친 후 강한 모델이 얼마나 잘 작동하는지 평가했어요.

최악의 경우엔 강한 모델이 약한 선생님 모델만큼만 잘할 거예요. 하지만 이상적으로는 강한 모델이 약한 선생님의 피드백에서 무언가를 배웠을 거예요. 약한 신호들을 유용하게 해석해서 성능을 개선하는 데 활용했을 거라는 말이죠. 얼마나 잘했는지 수치로 측정할 수 있어요. 만약 강한 모델이 전혀 개선되지 않았다면 (약한 선생님만큼만 잘했다면) 0점을 줬고요. 선생님의 피드백을 활용해서 이상적인 결과, 즉 강한 모델이 낼 수 있는 최고의 성능을 달성했다면 1점을 줬어요. 이 측정치를 '복구된 성능 격차'(Performance Gap Recovered, PGR)라고 부르는데, 약한 모델과 강한 모델의 상한선 사이의 격차를 나타내요.

확장 가능한 감독의 대리 지표로서, 약한 모델은 인간을, 강한 모델은 언젠가 우리가 감독해야 할 인간보다 훨씬 똑똑한 모델을 대신한다고 보면 돼요. 약한 모델에서 강한 모델로의 감독 연구에서 진전을 이룬다면, 앤트로픽 팀의 방법들이 초지능 모델들을 우리가 추구하는 가치에 맞춰 정렬하는 데 도움이 될 수 있을 거예요.

앤트로픽 팀의 새로운 연구에서는 클로드가 PGR을 개선하는 방법을 자율적으로 찾아낼 수 있는지 시험해봤어요. 앤트로픽 팀은 이렇게 질문했어요. 클로드가 스스로 정렬 아이디어를 개발하고, 테스트하고, 분석할 수 있을까요? 만약 가능하다면, 현재 AI 모델들이 정렬 연구 속도를 얼마나 가속화할 수 있을까요?

앤트로픽 팀의 설정

알아보기 위해, 앤트로픽 팀은 클로드 오푸스 4.6 모델 아홉 개를 준비하고 각각 몇 가지 추가 도구를 제공했어요. 각 클로드는 작업하고 생각할 수 있는 공간(즉, 샌드박스), 다른 모델들과 발견 사항을 공유할 수 있는 공동 포럼, 코드를 업로드할 저장 시스템, 그리고 아이디어별 PGR 점수를 받을 수 있는 원격 서버를 가졌어요. 또한 모델 학습 및 추론에 대한 몇 가지 배경 지식도 제공했어요. 앤트로픽 팀은 이런 도구를 갖춘 클로드 모델들을 '자동화된 정렬 연구원'(Automated Alignment Researchers, AARs)이라고 불렀어요.

각 AAR이 거의 동일한 아이디어를 추구하는 걸 막기 위해, 앤트로픽 팀은 각 모델에 약간씩 다른(하지만 의도적으로 모호한) 시작점을 제시했어요. 예를 들어, 하나는 해석 가능성 도구를 사용해보라고 추천하고, 다른 하나는 데이터셋의 데이터 가중치를 다시 조정하는 것에 대해 생각해보라고 하는 식이었죠.1 하지만 그 외에는 AAR들에게 뭘 하라고 지시하지 않았어요. 다음으로 뭘 시도할지 알아내기 위해 스스로 아이디어를 제안하고, 실험을 실행하고, 결과를 분석하고, 서로 발견 사항과 코드를 공유하는 건 전적으로 AAR들에게 달려있었죠.

결과

AAR들의 결과를 벤치마킹하기 위해, 앤트로픽 팀은 AAR들의 작업을 인간 기준선과 비교했어요. 앤트로픽 연구원 중 두 명이 이전 연구에서 가장 유망했던 일반화 방법 네 가지를 반복 실험하는 데 7일을 보냈어요. 앤트로픽 팀이 테스트한 오픈 가중치 모델(강한 모델로 Qwen 3-4B-Base, 약한 선생님 모델로 Qwen 1.5-0.5B-Chat)에서, 인간은 전체 성능 격차의 23%를 복구했어요(즉, PGR 0.23을 달성했죠).2

클로드는 이 결과를 극적으로 개선했어요. 5일 더 지난 후(누적 연구 시간 800시간), AAR들은 남아있던 거의 모든 성능 격차를 메워서 최종 PGR 0.97을 달성했어요. 여기에는 토큰과 모델 학습 비용으로 약 18,000달러가 들었으며, AAR 한 시간당 22달러 정도였어요. 아래 그래프에서 각 개별 AAR이 인간 기준선(0시간)으로부터 어떻게 발전했는지 확인할 수 있어요.

결론적으로 클로드는 아주 뛰어난 성능을 보였어요. 그런데 클로드가 사용한 방법들이 얼마나 독창적이었을까요? 그리고 실제 응용 분야에서 유용하게 쓰일 수 있을까요? 알아보기 위해 앤트로픽 팀은 두 가지 추가 테스트를 진행했어요.

먼저, AAR들의 아이디어가 미학습 데이터셋, 즉 AAR들이 이전에 보지 못했던 작업에서도 성능 격차를 복구할 수 있는지 테스트했어요. 앤트로픽 팀은 AAR들의 성능이 가장 좋았던 두 가지 방법(채팅 작업 데이터셋 기준)을 가져와 수학 및 코딩 작업에 적용해봤어요. 여기서 결과는 비교적 유망했어요. AAR들의 가장 효과적인 방법은 두 가지 새로운 데이터셋 모두에 성공적으로 일반화되었고, 수학에서 PGR 0.94, 코딩에서 0.47을 기록했어요(코딩은 여전히 인간 기준선의 두 배였죠). AAR들의 두 번째로 좋은 방법은 결과가 엇갈렸어요. 수학에서는 잘 작동했지만(0.75), 코딩에서는 오히려 상황을 악화시켰죠. 이 결과들은 AAR 연구의 일부 일반화 가능성을 시사하지만, 항상 보장되는 건 아니라는 걸 보여줘요. 자동화된 연구 실험을 시도하는 다른 분들에게도 AAR들의 아이디어를 미학습 데이터셋에 대해 스트레스 테스트해볼 것을 권장해요.

다음으로, AAR들의 아이디어가 실제 서비스 규모에서 작동할지 테스트했어요. 앤트로픽 팀은 AAR들의 가장 효과적인 방법을 프로덕션 학습 인프라를 사용해서 클로드 소네트 4에 적용해봤어요. 하지만 여기서는 성공률이 낮았어요. AAR들의 방법은 통계적으로 유의미한 개선으로 이어지지 않았죠. 앤트로픽 팀은 이건 근본적인 문제라기보다는 초기 실험의 한계를 반영하는 것 같아요. 앤트로픽 팀의 점수 측정 방식이 꽤 단순했고, 아이디어 하나만 평가했기 때문일 수도 있죠. 그럼에도 불구하고, 이는 AAR들의 한계(적어도 현재 능력으로는)를 보여줘요. AAR들은 주어진 모델과 데이터셋에만 특화된 기회를 활용하는 경향이 있어서, 그 방법들이 다른 곳에서는 작동하지 않을 수도 있다는 뜻이죠. 이를 완화하기 위해, AAR들이 연구하는 동안 여러 도메인과 데이터셋에 대해 테스트하도록 허용해야 한다고 제안해요. 이것은 AAR을 사용한 향후 실험에서 탐색할 수 있는 한 분야예요.

몇 번의 실험 반복을 통해 AAR을 가장 효과적으로 만드는 방법에 대해 더 많이 알게 되었어요. 예를 들어, 각 AAR에 다른 시작점을 주는 것이 매우 도움이 된다는 것을 알게 되었어요. 비록 시작점이 모호하더라도 말이죠. AAR들을 다른 방향으로 유도하지 않고 실험을 시도했을 때는, 모든 AAR이 빠르게 비슷한 아이디어에만 집중해서 전반적인 진전이 훨씬 적었어요(하지만 여전히 인간 기준선의 거의 세 배에 달하는 PGR을 달성했죠). 반면에 AAR들에게 너무 많은 구조를 부여하면 진행에 심각한 방해가 된다는 것도 발견했어요. 특정 워크플로('아이디어를 제안하고, 계획을 세우고, 코드를 작성하는…' 방식)를 지시했을 때, 앤트로픽 팀은 클로드의 작업을 결국 제약했다는 것을 알게 되었어요. 클로드를 자기 방식대로 내버려두니 훨씬 더 적응력이 좋았어요. 아이디어를 테스트하기 위해 저렴한 실험들을 설계하고, 그 후에 훨씬 더 집중적인 테스트에 착수하는 식이었죠.

시사점

두 오픈 가중치 모델 사이의 성능 격차를 복구하는 데 AAR들이 성공한 것이 최신 AI 모델이 이제 범용 정렬 과학자가 되었다는 신호는 절대 아니에요. 앤트로픽 팀은 모델들이 최적화할 수 있는 단일하고 객관적인 성공 측정 기준을 가지고 있기 때문에, 자동화에 유달리 적합한 문제를 의도적으로 선택했어요. 대부분의 정렬 문제는 이 문제만큼 깔끔하지 않거든요. 그리고 아래에서 언급하겠지만, 이런 환경에서도 AAR들은 문제를 속이려 최선을 다했어요. 인간의 감독은 여전히 필수적이죠.

하지만 앤트로픽 팀은 이 결과들이 몇 가지 중요한 시사점을 가진다고 생각해요.

속도 유지. 이 연구는 클로드가 정렬 연구에서 실험과 탐색의 속도를 의미 있게 높일 수 있다는 것을 보여줘요. 인간 연구원들은 대규모로 AAR들에게 질문을 위임할 수 있고, 클로드는 새로운 가설을 개발하고 자체 결과에 따라 반복하는 작업을 맡을 수 있죠.

게다가, 약한 모델에서 강한 모델로의 감독 연구에서 진전을 이루는 것이 그 자체로 더 범용적인 자동화된 정렬 연구원을 만드는 데 도움이 될 수 있어요. 이것이 바로 앤트로픽 팀이 이 문제를 연구 주제로 선택한 이유이기도 하죠. 이 연구에서 앤트로픽 팀은 약한 모델에서 강한 모델로의 감독 문제를 검증 가능한 결과(PGR 점수 증가)를 가진 '명확한' 작업으로 구성했어요. 이렇게 한 이유는 AAR이 진전을 이루었는지 자동으로, 그리고 신뢰할 수 있게 평가할 방법이 필요했기 때문이에요. 하지만 AAR들이 여러 도메인에 걸쳐 일반화되는 훨씬 더 나은 약한 모델에서 강한 모델로의 감독 방법을 발견한다면, 그 방법들을 사용하여 검증하기 훨씬 어려운 '모호한' 작업에서 AAR들이 진전을 평가하도록 훈련시킬 수 있을 거예요. (예를 들어, 클로드의 연구 프로젝트 범위 설정 능력에 대해 약한 모델에서 강한 모델로의 감독을 수행할 수 있겠죠.) 이는 중요한데요, 정렬 연구는 능력 연구와 달리 훨씬 더 '모호한' 문제들을 해결해야 하는 경우가 많기 때문이에요.

취향과 다양성. AAR과 같은 도구에 대한 한 가지 반론은, 오늘날의 최신 모델들이 여전히 '연구 취향'(어떤 아이디어가 효과가 있을지 없을지에 대한 직관적인 감각을 뜻하는 업계 용어)이 부족하다는 거예요. 하지만 이 실험에서 AAR들이 성공한 것은 엄청난 양의 아이디어가 '취향' 부족을 보완할 수 있음을 시사해요. 만약 AAR들이 수많은 실험을 매우 저렴하게 실행할 수 있다면, 아주 뛰어난 연구자가 생각해냈을 법한 결과물을 '무차별 대입' 방식으로 찾아내거나, 그 연구자들이 포기했을 방향에서 성공을 거둘 수도 있을 거예요.

결과적으로, 이는 정렬 연구의 핵심 병목 현상이 생성(인간 연구자들이 유망한 아이디어를 제안하는 것에 의존하는 것)이 아니라 평가(실험이 충분히 잘 설정되어 결과에 확신을 가질 수 있도록 하는 것)가 될 수 있음을 의미해요.

외계 과학. 이 연구는 더 기묘한 함의를 가질 수도 있어요. AAR들은 본질적으로 인간이 고려하지 않았을 아이디어를 발견하도록 설계되었어요. 하지만 그들의 아이디어와 결과가 타당한지 검증할 방법이 여전히 필요해요. 지금까지는 AAR들이 무엇을 했고 왜 했는지 해석할 수 있어요. 하지만 항상 그럴 수는 없을 거예요. 시간이 지남에 따라 모델의 아이디어는 검증하기 훨씬 어려워지거나, 인간이 이해하거나 잡아내기 어려운 방식으로 손상될 수도 있죠. 이는 '외계 과학'을 만들어내는 것을 의미할 수도 있어요.

해킹 방지. 이렇게 매우 제한된 환경에서도 앤트로픽 팀은 모델들이 '보상 해킹과 보상 조작'을 시도하는 것을 관찰했어요. 즉, 앤트로픽 팀의 설정을 조작하려 했다는 뜻이죠. 예를 들어, 수학 문제에서 한 AAR은 각 문제의 가장 흔한 답이 대부분 정답이라는 것을 알아채고, 선생님 모델을 완전히 건너뛰고 강한 모델에게 항상 가장 흔한 답을 선택하라고 지시했어요. 코딩 작업에서는 모델이 코드가 올바른지 예측해야 했는데, AAR은 코드를 몇 가지 테스트에 대해 실행하고 단순히 정답을 읽어낼 수 있다는 것을 깨달았어요. 이런 해킹들은 앤트로픽 팀의 결과를 무효화하지는 않았지만(앤트로픽 팀이 이런 시도를 탐지하고 실격 처리했거든요), 명백히 경고를 던져주고 있어요. 자동화된 연구원을 배포하려면 AAR들이 조작할 수 없는 평가 방식이 필요하고, 그들의 결과와 방법에 대한 인간의 검토가 필수적이에요.

이 연구의 전문을 읽으려면 앤트로픽의 정렬 과학 블로그를 참고하세요. 이 작업에 사용된 코드와 데이터셋은 여기에서 공개적으로 사용할 수 있어요.

각주

• 이것들은 (나머지 코드 및 데이터와 함께) 여기에서 확인할 수 있어요.
• 앤트로픽 팀은 여러 가지 이유로 이 모델들을 선택했어요. 두 모델 사이에 상당한 성능 격차가 있고, 작은 모델이 앤트로픽 팀의 테스트베드에서 무작위보다 더 나은 성능을 보이며, 두 모델 모두 빠른 실험에 충분히 작기 때문이죠. 앤트로픽 팀은 모든 앤트로픽 펠로우즈 프로젝트에 오픈 가중치 모델을 사용해요.

관련 콘텐츠

사회 과학 분야의 코딩 에이전트

AI 및 코딩 에이전트 사용에 대한 1,260명의 사회 과학자 설문조사 결과예요.

더 읽어보기

프로젝트 글래스윙: 초기 업데이트

프로젝트 글래스윙에서 앤트로픽 팀이 배운 점에 대한 초기 업데이트예요.

더 읽어보기

2028년: 글로벌 AI 리더십을 위한 두 가지 시나리오

미국과 중국 간의 AI 경쟁에 대한 앤트로픽 팀의 견해예요.

더 읽어보기