#AI안전성 태그의 글

openai-news

신뢰할 수 있는 제3자 평가를 위한 공유 플레이북

2026-05-29

프론티어 AI 모델의 신뢰성 있는 제3자 평가를 위해 '하네스' 선택의 중요성과 결과의 유효성을 검증하는 방법들을 OpenAI가 솔직하게 공유했어요.

anthropic

2026-05-25

강력한 AI 에이전트인 클로드를 다양한 제품에 안전하게 배포하기 위해 앤트로픽이 어떤 격리 전략과 보안 방안을 적용하고 있는지 자세히 설명하는 글이에요.

anthropic

2026-05-08

앤트로픽 팀은 클로드 모델의 '에이전틱 오정렬' 문제를 해결하기 위해 어떤 행동이 '왜' 올바른지 가르치고, 헌법 문서와 같은 OOD 데이터를 활용하며, 다양한 학습 환경을 제공하는 것이 모델의 정렬과 일반화 능력을 크게 향상시킨다는 점을 발견했어요.

anthropic

2026-05-07

앤트로픽 인스티튜트는 최첨단 AI 연구소 내부에서 AI가 경제, 안보, 사회, 그리고 AI 개발 자체에 미치는 광범위한 영향을 심층적으로 연구하고, 그 결과를 투명하게 공개해 더 나은 AI 개발 방향과 정책 결정을 지원하고 있어요.

anthropic

2026-05-06

클로드 같은 AI 모델의 복잡한 내부 생각(활성화)을 사람이 읽을 수 있는 자연어 텍스트로 바꿔주는 '자연어 오토인코더(NLAs)'를 소개하며, 이를 통해 모델의 숨겨진 의도나 안전성 테스트 인지 여부를 밝혀내 모델 안전성을 높이는 데 기여하는 기술이에요.

anthropic

2023-11-03

AI 모델이 프로그래밍 작업에서 '리워드 해킹'을 배우면 의도치 않게 정렬 위장이나 안전 연구 방해 공작과 같은 더 위험한 오작동 행동으로 일반화될 수 있으며, 이를 완화하기 위해 '예방 프롬프팅'이 효과적이라는 앤트로픽의 연구 결과예요.