사이버 방어자를 위한 AI 구축

프론티어 레드팀 뉴스레터 구독하기

최신 레드팀 연구와 발견에 대한 소식을 받아보세요.

AI 모델이 이제 사이버 보안 작업에서 이론을 넘어 실제적으로 유용하게 쓰이고 있어요. 최신 AI가 사이버 공격자에게 유용한 도구라는 연구 결과와 경험이 쌓이면서, 앤트로픽 팀은 방어자들이 코드와 배포된 시스템의 취약점을 탐지하고 분석하며 개선하도록 클로드의 능력을 향상하는 데 투자했어요. 이 작업을 통해 클로드 소네트 4.5는 불과 두 달 전에 출시된 최신 모델인 오퍼스 4.1과 동등하거나 그 이상으로 코드 취약점 발견 및 기타 사이버 기술에서 뛰어난 성능을 보였어요. 방어자들이 발맞춰 나아가려면 AI를 도입하고 실험하는 것이 핵심이 될 거예요.

앤트로픽 팀은 이제 AI가 사이버 보안에 미치는 영향의 변곡점에 서 있다고 생각해요.

몇 년 동안 앤트로픽 팀은 AI 모델의 사이버 보안 관련 역량을 주의 깊게 추적해왔어요. 초기에는 모델들이 고급적이고 의미 있는 기능에는 그다지 강력하지 않다는 것을 발견했죠. 하지만 지난 1년 정도 사이에 변화가 감지되었어요. 예를 들어볼게요:

이번 여름 DARPA [AI 사이버 챌린지](https://aicyberchallenge.com/)에서 팀들은 LLM(클로드를 포함해서)을 활용해 수백만 줄의 코드에서 패치해야 할 취약점을 검사하는 '사이버 추론 시스템'을 만들었어요. 삽입된 취약점 외에도, 팀들은 [이전에 발견되지 않은, 인위적이지 않은 취약점](https://aicyberchallenge.com/Finals-winners-announcement/)을 찾아냈고 (때로는 패치하기도 했죠). 경쟁 환경을 넘어, 다른 최신 연구소들도 이제 모델을 적용해 [새로운 취약점을 발견하고 보고](https://blog.google/technology/safety-security/cybersecurity-updates-summer-2025/)하고 있어요.

동시에, 앤트로픽 팀의 세이프가드(Safeguards) 작업의 일환으로, AI를 활용해 운영을 확장하는 위협 행위자들을 자체 플랫폼에서 발견하고 차단했어요. 앤트로픽의 [세이프가드 팀](https://www.anthropic.com/news/building-safeguards-for-claude)은 최근 '[바이브 해킹](https://www.anthropic.com/news/detecting-countering-misuse-aug-2025)' 사례를 발견하고 차단했어요. 이 사례에서는 한 사이버 범죄자가 클로드를 사용해 이전에는 팀 전체가 필요했을 대규모 데이터 갈취 계획을 세웠어요. 세이프가드 팀은 또한 클로드가 [점점 더 복잡한 스파이 작전](https://www-cdn.anthropic.com/b2a76c6f6992465c09a6f2fce282f6c0cea8c200.pdf)에 사용되는 것을 탐지하고 대응했어요. 여기에는 중국 APT 작전과 일치하는 특징을 보이는 행위자가 핵심 통신 인프라를 표적으로 삼은 사례도 포함돼요.

이 모든 증거들을 종합해 보면, 사이버 생태계에서 중요한 변곡점에 도달했다고 생각해요. 지금부터는 발전 속도가 상당히 빨라지거나 사용량이 급증할 수 있어요.

그래서 지금이야말로 AI의 방어적 활용을 가속화해서 코드와 인프라를 안전하게 만드는 데 중요한 시점이에요. AI에서 얻는 사이버 우위를 공격자나 범죄자에게 넘겨줘서는 안 돼요. 악성 공격자를 탐지하고 방해하는 데 계속 투자하겠지만, 가장 확장 가능한 해결책은 기업과 정부를 보호하는 보안 팀, 사이버 보안 연구원, 중요한 오픈소스 소프트웨어 유지보수자처럼 디지털 환경을 보호하는 사람들에게 힘을 실어주는 AI 시스템을 만드는 것이라고 생각해요.

클로드 소네트 4.5 출시를 앞두고 앤트로픽 팀은 바로 그 작업을 시작했어요.

LLM의 규모가 커지면서, 작은 모델에서는 분명하지 않았고 모델 훈련의 명시적인 목표가 아니었을 수도 있는 '[예측하지 못한 능력(emergent abilities)](https://arxiv.org/abs/2206.07682)'이 나타나고 있어요. 실제로 클로드의 사이버 보안 작업 수행 능력, 예를 들어 Capture-the-Flag (CTF) 챌린지에서 소프트웨어 취약점을 찾아내고 악용하는 능력은 일반적으로 유용한 AI 비서를 개발하는 과정에서 얻어진 부산물이었죠.

하지만 방어자들에게 더 나은 도구를 제공하기 위해 일반적인 모델 발전에만 의존하고 싶지는 않아요. AI와 사이버 보안 발전의 중요한 순간인 만큼, 앤트로픽 팀은 연구원들을 투입해서 코드 취약점 발견 및 패치와 같은 핵심 기술에서 클로드의 성능을 개선하는 데 전념했어요.

이 작업의 결과는 클로드 소네트 4.5에 고스란히 반영되었어요. 소네트 4.5는 사이버 보안의 여러 측면에서 클로드 오퍼스 4.1과 비슷하거나 더 우수하면서도, 비용은 더 저렴하고 속도는 더 빨라요.

소네트 4.5를 개발하면서, 앤트로픽 팀의 소규모 연구팀은 클로드의 코드베이스 취약점 발견, 패치, 그리고 시뮬레이션된 배포 보안 인프라의 약점 테스트 능력을 강화하는 데 집중했어요. 이러한 작업들은 방어자에게 중요한 업무를 반영하기 때문에 선택했죠. 앤트로픽 팀은 고급 공격이나 악성코드 작성과 같이 명백히 공격적인 작업에 유리한 개선은 의도적으로 피했어요. 모델이 배포 전에 안전하지 않은 코드를 찾고, 배포된 코드에서 취약점을 발견하고 수정할 수 있도록 하고 싶어요. 물론, 저희가 집중하지 못한 더 많은 중요한 보안 작업들이 있어요. 이 글의 마지막 부분에서 향후 방향에 대해 자세히 설명할게요.

연구의 효과를 테스트하기 위해, 앤트로픽 팀은 자체 모델에 대해 업계 표준 평가를 진행했어요. 이러한 평가는 모델 간 명확한 비교를 가능하게 하고, AI 발전 속도를 측정하며, 특히 새롭고 외부에서 개발된 평가의 경우, 자체 테스트에만 맞춰 학습하지 않았음을 보장하는 좋은 척도가 돼요.

이러한 평가를 진행하면서, 한 가지 눈에 띄었던 점은 여러 번 반복 실행하는 것의 중요성이었어요. 광범위한 평가 작업을 수행하는 데 계산 비용이 많이 들더라도, 특정 실제 문제에 대한 동기 부여된 공격자나 방어자의 행동을 더 잘 포착할 수 있거든요. 이렇게 함으로써 클로드 소네트 4.5뿐만 아니라 몇 세대 전 모델에서도 인상적인 성능을 발견할 수 있었어요.

앤트로픽 팀이 1년 넘게 추적해온 평가 중 하나는 CTF 경쟁 과제에서 가져온 벤치마크인 [사이벤치(Cybench)](https://cybench.github.io/)에요.1 이 평가에서 클로드 소네트 4.5는 클로드 소네트 4를 넘어, 심지어 클로드 오퍼스 4 및 4.1 모델보다도 눈에 띄게 향상된 성능을 보였어요. 아마도 가장 놀라운 점은, 소네트 4.5가 작업당 한 번의 시도로 오퍼스 4.1이 작업당 10번 시도했을 때보다 더 높은 성공률을 달성한다는 거예요. 이 평가에 포함된 과제들은 다소 복잡하고 장시간이 소요되는 작업 흐름을 반영해요. 예를 들어, 한 과제는 네트워크 트래픽을 분석하고, 그 트래픽에서 악성코드를 추출하며, 악성코드를 디컴파일하고 복호화하는 작업을 포함했어요. 숙련된 사람이었다면 최소 한 시간, 어쩌면 훨씬 더 오래 걸렸을 것으로 예상하는데, 클로드는 38분 만에 해결했어요.

클로드 소네트 4.5에 사이벤치 평가를 10번 시도하게 했을 때, 76.5%의 과제를 성공했어요. 이는 지난 6개월 만에 성공률이 두 배로 늘어났다는 점에서 특히 주목할 만해요 (2025년 2월에 출시된 소네트 3.7은 10번의 시도에서 35.9%의 성공률을 기록했었거든요).

또 다른 외부 평가에서, 앤트로픽 팀은 클로드 소네트 4.5를 [사이버짐(CyberGym)](https://www.cybergym.io/)에서 평가했어요. 이 벤치마크는 에이전트가 (1) 높은 수준의 약점 설명을 통해 실제 오픈소스 소프트웨어 프로젝트에서 (이전에 발견된) 취약점을 찾아내고, (2) 새로운 (이전에 발견되지 않은) 취약점을 발견하는 능력을 평가하죠.2 사이버짐 팀은 이전에 클로드 소네트 4가 [공개 리더보드](https://www.cybergym.io/)에서 가장 강력한 모델임을 발견했어요.

클로드 소네트 4.5는 클로드 소네트 4나 클로드 오퍼스 4보다 훨씬 더 좋은 점수를 기록했어요. 공개 사이버짐 리더보드와 동일한 비용 제약(즉, 취약점당 LLM API 쿼리 2달러 한도)을 적용했을 때, 소네트 4.5는 28.9%라는 새로운 최고 점수를 달성했어요. 하지만 실제 공격자들은 이런 식으로 제약받는 경우가 거의 없죠. 그들은 한 번의 시도에 2달러보다 훨씬 많은 비용을 들여 여러 번 공격을 시도할 수 있어요. 이런 제약을 없애고 클로드에게 작업당 30번의 시도를 허용했을 때, 소네트 4.5는 프로그램의 66.7%에서 취약점을 재현하는 것을 발견했어요. 이 접근 방식의 상대적인 비용은 더 높지만, 한 가지 작업을 30번 시도하는 데 약 45달러가 드는 절대적인 비용은 여전히 상당히 낮아요.

클로드 소네트 4.5가 새로운 취약점을 발견하는 속도 또한 흥미로워요. 사이버짐 리더보드에 따르면 클로드 소네트 4는 목표의 약 2%에서만 취약점을 발견하는 반면, 소네트 4.5는 5%의 경우에서 새로운 취약점을 발견해요. 시도를 30번 반복하면 프로젝트의 33% 이상에서 새로운 취약점을 발견하죠.

앤트로픽 팀은 또한 클로드의 취약점 패치 생성 및 검토 능력에 대한 예비 연구도 진행하고 있어요. 취약점 패치는 발견하는 것보다 더 어려운 작업이에요. 왜냐하면 모델이 원래 기능을 변경하지 않으면서 취약점을 제거하는 정밀한 수정을 해야 하기 때문이죠. 가이드나 사양 없이 모델은 코드베이스에서 의도된 기능을 추론해야 해요.

앤트로픽 팀의 실험에서 클로드 소네트 4.5에게 사이버짐 평가 세트의 취약점을 패치하도록 지시했어요. 이때 취약점에 대한 설명과 프로그램이 충돌했을 때 어떤 작업을 하고 있었는지에 대한 정보를 제공했죠. 앤트로픽 팀은 클로드에게 스스로 작업한 것을 평가하도록 했어요. 제출된 패치들을 사람이 작성한 참조 패치와 비교하여 점수를 매기도록 요청했죠. 클로드가 생성한 패치의 15%는 사람이 생성한 패치와 의미적으로 동등하다고 평가되었어요. 하지만 이 비교 기반 접근 방식에는 중요한 한계가 있어요. 취약점은 여러 가지 유효한 방법으로 수정될 수 있기 때문에, 참조 패치와 다른 패치라도 여전히 올바를 수 있고, 이는 평가에서 오탐(false negatives)으로 이어질 수 있어요.

앤트로픽 팀은 최고 점수를 받은 패치 샘플을 수동으로 분석했고, 사이버짐 평가의 기반이 되는 오픈소스 소프트웨어에 통합된 참조 패치와 기능적으로 동일하다는 것을 발견했어요. 이 작업은 앤트로픽 팀의 광범위한 발견과 일치하는 패턴을 보여줘요. 클로드는 전반적으로 개선되면서 사이버 관련 기술도 발전한다는 거죠. 앤트로픽 팀의 예비 결과는 패치 생성 또한 취약점 발견과 마찬가지로 집중적인 연구를 통해 향상될 수 있는 예측하지 못한 능력임을 시사해요. 다음 단계는 클로드를 신뢰할 수 있는 패치 작성자이자 검토자로 만들기 위해 앤트로픽 팀이 확인한 문제점들을 체계적으로 해결하는 거예요.

실제 세계의 방어 보안은 평가가 포착할 수 있는 것보다 훨씬 더 복잡해요. 앤트로픽 팀은 실제 문제들이 더 복잡하고, 과제들이 더 어려우며, 구현 세부 사항이 매우 중요하다는 것을 꾸준히 발견했어요. 따라서, 방어를 위해 실제로 AI를 사용하는 조직들과 협력해서 앤트로픽 팀의 연구가 그들을 어떻게 가속화할 수 있는지 피드백을 받는 것이 중요하다고 생각해요. 소네트 4.5 출시를 앞두고, 앤트로픽 팀은 취약점 개선, 네트워크 보안 테스트, 위협 분석과 같은 실제 문제에 모델을 적용한 여러 조직들과 협력했어요.

해커원(HackerOne)의 최고 제품 책임자(CPO)인 니디 아가왈(Nidhi Aggarwal)은 "클로드 소네트 4.5는 Hai 보안 에이전트의 평균 취약점 접수 시간을 44% 줄이고 정확도를 25% 높여, 기업들이 자신감을 가지고 위험을 줄이는 데 도움을 주었다"고 말했어요. 크라우드스트라이크(CrowdStrike)의 데이터 과학 수석 부사장 겸 최고 과학자인 스벤 크라셔(Sven Krasser)에 따르면, "클로드는 레드팀 활동에서 강력한 가능성을 보여줘요. 창의적인 공격 시나리오를 생성해서 공격자 전술을 연구하는 방식을 가속화하죠. 이러한 통찰력은 엔드포인트, ID, 클라우드, 데이터, SaaS, AI 워크로드 전반에 걸쳐 우리의 방어를 강화합니다."라고 했어요.

이러한 증언들은 클로드를 활용한 응용 방어 작업의 잠재력에 대해 앤트로픽 팀의 자신감을 더 높여주었어요.

클로드 소네트 4.5는 의미 있는 개선을 보여주지만, 앤트로픽 팀은 이 모델의 많은 기능이 아직 초기 단계이며 보안 전문가와 기존 프로세스의 수준에는 미치지 못한다는 것을 알고 있어요. 앤트로픽 팀은 모델의 방어 관련 기능을 지속적으로 개선하고, 플랫폼을 보호하는 위협 인텔리전스와 완화책을 강화할 거예요. 여기에는 단일 프롬프트 및 완성 이상의 큰 그림을 이해하기 위해 조직 수준의 [요약](https://alignment.anthropic.com/2025/summarization-for-monitoring/)과 같은 기술을 사용하는 것이 포함돼요. 이는 특히 대규모 자동화 활동과 관련된 가장 피해가 큰 사용 사례에서 이중 용도 행위와 악의적인 행위를 분리하는 데 도움이 되죠.

하지만 지금이야말로 가능한 한 많은 조직들이 AI가 자신들의 보안 태세를 어떻게 개선할 수 있는지 실험하고, 이러한 성과를 평가할 수 있는 평가 시스템을 구축해야 할 때라고 생각해요. 클로드 코드의 [자동화된 보안 검토](https://www.anthropic.com/news/automate-security-reviews-with-claude-code)는 AI가 CI/CD 파이프라인에 어떻게 통합될 수 있는지를 보여줘요. 앤트로픽 팀은 특히 연구원들과 팀들이 보안 운영 센터(SOC) 자동화, 보안 정보 및 이벤트 관리(SIEM) 분석, 안전한 네트워크 엔지니어링 또는 능동 방어와 같은 분야에서 모델을 적용하는 실험을 할 수 있도록 지원하고 싶어요. 또한 모델 평가를 위한 성장하는 [제3자 생태계](https://www.anthropic.com/news/a-new-initiative-for-developing-third-party-model-evaluations)의 일환으로 방어 역량에 대한 더 많은 평가를 보고 사용하고 싶어요.

하지만 방어자에게 유리하도록 시스템을 구축하고 도입하는 것만으로는 해결책의 일부일 뿐이에요. 최신 AI 모델의 도움을 포함해서 디지털 인프라를 더욱 탄력적으로 만들고, 새로운 소프트웨어를 설계 단계부터 안전하게 만드는 방법에 대한 논의도 필요해요. AI가 사이버 보안에 미치는 영향이 미래의 우려에서 현재의 필수 과제로 전환되는 이 시점을 헤쳐나가면서, 산업계, 정부, 시민사회와의 이러한 논의를 기대하고 있어요.

1. 앤디 K 장(Andy K Zhang) 외, "사이벤치: 언어 모델의 사이버 보안 능력 및 위험 평가를 위한 프레임워크," 제13회 국제 학습 표현 컨퍼런스(2025), [https://openreview.net/forum?id=tc90LV0yRL](https://openreview.net/forum?id=tc90LV0yRL).

2. 준 왕(Zhun Wang) 외, "사이버짐: 실제 취약점을 대규모로 사용하여 AI 에이전트의 사이버 보안 능력 평가," arXiv 프리프린트 arXiv:2506.02548 (2025), [https://arxiv.org/abs/2506.02548](https://arxiv.org/abs/2506.02548).

사이버 보안에서 실제 피해의 상당 부분은 N-day 취약점에서 발생해요. 이는 이미 공개적으로 알려졌지만 일부 장치에서만 패치된 취약점이죠. 이 게시물에서는 대규모 언어 모델이 N-day 공격 개발 과정을 얼마나 가속화하고 자동화할 수 있는지 평가해 볼 거예요.

최신 레드팀 연구와 발견에 대한 소식을 받아보세요.