OpenAI와 Broadcom, LLM 최적화 추론 칩 공개

• 초기 테스트 결과, 1세대 가속기가 현재 최고 성능 대비 와트당 성능을 크게 향상시킬 것으로 예상
• 업계 전반의 현재 및 미래 LLM을 위해 처음부터 설계
• 설계부터 생산까지 9개월 만에 개발, OpenAI 모델로 가속화
• 제품, 모델, 이제 칩까지 확장되는 OpenAI의 풀스택 플랫폼 확장
• 여러 세대에 걸쳐 데이터센터 파트너와 함께 기가와트 규모로 배포 예정

OpenAI와 Broadcom(NASDAQ: AVGO)은 오늘 OpenAI의 첫 번째 Intelligence Processor인 Jalapeño를 공개했습니다. 이는 LLM 추론의 미래에 대한 OpenAI의 비전을 기반으로 설계된 가속기이며, 양사가 함께 구축하는 멀티 세대 컴퓨팅 플랫폼의 첫 번째 AI 가속기로, 고급 AI를 더 빠르고, 더 안정적이며, 더 많은 사람들이 접근할 수 있도록 하는 것이 목표입니다.

Jalapeño는 Broadcom 사장 겸 CEO Hock Tan과 사장 Charlie Kawwas가 OpenAI CEO Sam Altman과 사장 Greg Brockman에게 전달되었으며, 이는 OpenAI가 모델과 제품 뒤에 있는 전체 스택을 구축하려는 전략의 중요한 단계를 의미합니다.

OpenAI는 LLM 기초에 대한 깊은 이해를 바탕으로 칩을 처음부터 설계했으며, 모델, 커널, 서빙 시스템, 제품 요구사항에 대한 로드맵을 참고했습니다. 파트너인 Broadcom과 Celestica는 칩 구현, 보드, 랙 시스템 통합, 고성능 네트워킹, 확장 가능한 생산 시스템을 통해 플랫폼을 산업화하는 데 도움을 주었습니다. Jalapeño는 OpenAI의 업계 현재 및 미래 AI 모델의 추론 요구사항에 대한 통찰력을 바탕으로 모든 LLM과 유연하게 작동하도록 설계되었습니다. Jalapeño 칩의 엔지니어링 샘플은 현재 실험실에서 GPT-5.3-Codex-Spark를 포함한 ML 워크로드를 생산 목표 주파수와 전력으로 실행하고 있습니다.

OpenAI는 아직 최종 성능을 측정 중이지만, 초기 테스트 결과 Jalapeño는 현재 최고 성능 대비 와트당 성능이 크게 향상될 것으로 나타났습니다. 자세한 성능 기술 보고서는 몇 달 내에 발표될 예정입니다. 아키텍처는 데이터 이동을 줄이고 컴퓨팅, 메모리, 네트워킹 리소스를 균형 있게 조정하여 실제 활용률을 이론적 최고 성능에 훨씬 가깝게 만듭니다. Broadcom의 실리콘 구현 및 Tomahawk 네트워킹 실리콘을 포함한 네트워킹 기술은 플랫폼을 대규모 생산으로 이끄는 데 도움을 줍니다.

"세계는 컴퓨팅 기반 경제로 나아가고 있습니다,"라고 OpenAI 사장 겸 공동 창업자 Greg Brockman이 말했습니다. "Jalapeño는 컴퓨팅을 더 풍부하게 만들기 위한 장기적인 풀스택 인프라 전략의 일부로, 결과적으로 AI가 더 빠르고, 더 안정적이며, 개인과 기업에게 더 저렴해지고, 더 중요한 문제를 해결하는 데 사용될 수 있습니다. 스택의 더 많은 부분을 직접 설계함으로써 더 높은 효율로 더 많은 지능을 제공하고, 고급 AI를 더 넓은 접근성으로 계속 밀어붙일 수 있습니다."

"Jalapeño는 OpenAI 연구자들과의 긴밀한 협력을 통한 상세한 통찰력을 사용하여 LLM 추론을 위해 처음부터 설계되었습니다,"라고 OpenAI의 하드웨어 프로그램을 이끄는 Richard Ho가 말했습니다. "우리는 최첨단 AI 모델에 가장 중요한 커널, 메모리 이동, 네트워킹, 서빙 패턴을 중심으로 아키텍처를 최적화했습니다. 초기 테스트에 따르면, Jalapeño는 가장 중요한 워크로드를 하드웨어의 이론적 한계에 가깝게 효율적으로 실행할 것입니다."

"OpenAI와의 협력은 향후 10년간 AI에 필요한 물리적 인프라를 확장하겠다는 근본적인 약속을 나타냅니다,"라고 Broadcom 사장 겸 CEO Hock Tan이 말했습니다. "이것은 멀티 세대 로드맵의 시작일 뿐입니다. 업계를 선도하는 실리콘을 OpenAI와 직접 공동 개발함으로써, 우리는 2026년부터 Microsoft 및 다른 파트너와 함께 기가와트 규모의 데이터센터 배포를 가능하게 하고 있습니다."

LLM을 위한 최고의 추론 플랫폼으로 설계

Jalapeño는 이전 AI 워크로드에서 개조된 범용 가속기가 아니라, 현대 LLM 추론을 위한 백지 상태 설계입니다. 이는 OpenAI가 ChatGPT, Codex, API, 미래 에이전틱 제품 전반에서 매일 실행하는 시스템에서 얻은 정보를 바탕으로 하면서도, 업계 전반의 현재 및 미래 LLM을 위해 설계되었습니다. 목표는 오늘날 선도적인 AI 가속기의 성능과 처리량을 가장 빠른 특수 추론 시스템에 가까운 레이턴시와 결합하여, Jalapeño를 대규모 대화형 LLM 제품에 매우 적합하게 만드는 것입니다.

이것이 풀스택의 장점입니다. OpenAI는 최첨단 모델을 개발하거나 그 위에 제품을 구축하는 것뿐만 아니라, 그 아래에 있는 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험 등 인프라를 설계하고 있습니다. OpenAI가 스택 전반에서 운영되기 때문에, 각 계층은 동일한 목표, 즉 사용자에게 더 빠르고, 더 안정적이며, 더 저렴한 모델을 제공하기 위해 최적화될 수 있습니다.

Jalapeño는 OpenAI의 진전 뒤에 있는 선순환을 강화합니다. 더 나은 인프라는 컴퓨팅 효율성을 높입니다. 더 높은 컴퓨팅 효율성은 더 나은 훈련과 서빙을 가능하게 하여, 궁극적으로 더 강력한 AI 모델을 구동합니다. 더 나은 모델은 사람, 개발자, 기업을 위한 더 나은 제품이 됩니다. 더 나은 제품은 더 많은 사용, 더 많은 고객, 더 많은 수익을 창출하여, OpenAI가 다음 세대 인프라에 재투자할 수 있게 합니다. 시간이 지남에 따라 이 순환은 지능을 더 강력하고, 더 안정적이며, 모든 사람에게 더 저렴하게 만드는 데 도움을 줍니다.

9개월 만에 테이프아웃, OpenAI 모델로 가속화

Jalapeño는 초기 설계부터 제조 테이프아웃까지 단 9개월 만에 공동 개발되었으며, 이 커스텀 AI 가속기 프로그램은 고성능 첨단 반도체 분야에서迄今为止 가장 빠른 ASIC 개발 주기라고 믿고 있습니다. 이러한 속도는 OpenAI 엔지니어링 팀과의 긴밀한 소프트웨어-하드웨어 공동 개발, Broadcom의 실리콘 구현 전문성, 그리고 설계 및 최적화 프로세스의 일부를 가속화하기 위한 OpenAI 모델 사용을 반영합니다.

사용자에게 제공되는 동일한 모델이 미래 모델을 실행하는 데 사용되는 인프라를 개선하는 데 도움을 주고 있습니다. AI가 엔지니어가 더 나은 칩을 더 빠르게 설계하는 데 도움을 줄 수 있다면, 업계 전반의 컴퓨팅 비용을 낮추고 첨단 AI에 대한 접근성을 민주화하는 데 도움을 줄 수 있습니다.

파트너와 함께 멀티 세대 플랫폼 구축

Jalapeño는 2026년 말까지 최초 배포를 목표로 하고 그 이후에도 확장될 멀티 세대 컴퓨팅 플랫폼의 첫 번째 단계로, OpenAI 설계 가속기, Broadcom의 실리콘 구현, 네트워킹 및 연결 기술, Celestica의 보드, 랙 및 시스템 전문성을 결합합니다.

첨단 AI를 더 널리 사용 가능하게

이 작업의 요점은 간단합니다: 추론은 AI가 사람들에게 도달하는 지점입니다. 비용, 속도, 안정성의 모든 개선은 더 빠른 ChatGPT 답변, 더 적은 대기 시간으로 더 많은 단계를 수행할 수 있는 Codex 작업, 구축 비용이 더 저렴한 API 제품, 또는 수요가 많을 때 더 안정적인 접근으로 나타날 수 있습니다.

AI 민주화는 고급 모델을 일상적으로 사용하기에 충분히 이용 가능하고, 신뢰할 수 있으며, 저렴하게 만드는 것을 의미합니다. Jalapeño는 OpenAI가 더 많은 인프라를 학생, 개발자, 소규모 비즈니스, 연구자, 기업, 그리고 배우고, 창작하고, 어려운 문제를 해결하려는 모든 사람을 위한 유용한 지능으로 전환하는 데 도움을 줍니다.