OpenAIの独自推論チップ「Jalapeño」は、どのCPUと組み合わせるのでしょうか。OpenAIのハードウェア責任者Richard Ho氏は、AMD EPYCのTurin世代をホストCPUに選んだ理由を説明しました。推論チップの性能だけでなく、その周囲で動くCPUの役割も見えてきます。

EPYC Turinを選んだ理由

Tom’s HardwareによるHo氏へのインタビューでは、JalapeñoシステムのホストにEPYC Turinを採用した判断が語られています。Ho氏が挙げたのは、開発を速く進めながらリスクを抑えられること、Turinが必要な処理を担えること、協業先に同プラットフォームの経験があることです。開発と導入を予定どおり進めるための判断として説明しています。

JalapeñoはOpenAIだけで完成させる製品ではありません。OpenAIが推論チップを設計し、Broadcomがシリコンの実装とネットワーク技術、Celesticaが基板やラックの統合を支えます。複数の企業が担当するシステムでは、ホストCPUに既存の運用経験があることが、設計を進めるうえで具体的な利点になります。

比較相手として挙がったNVIDIA Veraについて、Ho氏は単独CPUとしての成熟度が採用判断時点ではTurinより遅れていると述べました。Ho氏が比較したのは、開発や運用を進めるうえでの成熟度です。NVIDIAの製品発表によると、Veraは独自設計のOlympusコア88基とLPDDR5Xメモリを採用します。EPYCとVeraの選び分けは、今後の調達条件やシステム構成でも変わります。

JalapeñoのCPUホスト構成

SemiAnalysisが公開したシステム構成によると、JalapeñoはCPUホストラックと推論チップ側のラックを組み合わせます。ホストラックには「Katsu」と呼ぶトレーが16台あり、各トレーにTurin世代のAMD EPYCを2基と1.5TBのDRAMを搭載する設計です。対になる「Vindaloo」トレーも16台あり、こちらには1台当たり8基、計128基のJalapeñoチップを収めます。

公開構成をラック単位で数えると、CPUホストは合計32基です。推論チップ128基に対してCPUが32基という比率は、ASICだけを大量に並べるのではなく、ホスト側の計算とメモリにも相応の資源を割く設計を表しています。

ホストトレー16台のDRAMを単純に合計すると24TBになります。これは各ホストが備える1.5TBを16台分足した値で、1台の巨大な共有メモリを意味するものではありません。大量のチップを動かすため、各トレーがそれぞれCPUとメモリを持つ分散した構成です。

CPUホストと推論チップは、トレーごとに8本の外部PCIeケーブルで接続します。各ホストトレーは400Gbpsの前面ネットワークも備えます。ホスト側が一般的な処理、データの受け渡し、ストレージやネットワークとの連携を引き受け、専用チップが大規模言語モデルの推論演算を担当する構成です。

CPUと推論用ASICの分担を見ると、AI基盤でCPUが必要とされる理由が分かります。推論用ASICが演算を速くしても、入力を届け、結果を回収し、複数の処理を調整するホストが不足すればシステム全体の処理は滞ります。今回のEPYC採用は、アクセラレーターの外側にある計算資源も製品設計の一部であることを示しています。

推論システムの構成を比べる際は、ホストとASICの接続方式、ラック当たりの搭載密度、メモリ容量が判断材料になります。JalapeñoではCPUホストラックとASICラックを1組として設計し、各トレーを対応させています。推論演算の前後にある処理とデータ移動まで含めて、システム全体の能力が決まります。

構成要素 公開された内容 主な役割
CPUホスト 16トレー、各トレーにEPYC Turinを2基 推論チップ側の処理を支えるホスト
ホストメモリ 1トレー当たり1.5TBのDRAM CPU側の作業データを保持
推論チップ 16トレー、各トレーにJalapeñoを8基 大規模言語モデルの推論演算

導入時期とVeraとの関係

OpenAIの6月の発表は、Jalapeñoの試作チップが研究室で動作し、2026年末までに初期導入する計画を示していました。今回のインタビューでHo氏は、2026年中は本番環境で動作を確かめるための少量導入を目指し、導入量が大きく増えるのは2027年と説明しています。

OpenAIは今後も性能とコストを見ながら他社製チップを評価する方針です。Veraの仕様と狙いをまとめた記事を読むと、NVIDIAがCPU側に期待する仕事の範囲も確認できます。

まとめ

OpenAIがJalapeñoのホストにEPYC Turinを選んだ主な理由は、求める処理を担えることと、開発・導入のリスクを抑えられることです。公開された構成ではホストトレーごとにEPYCを2基、DRAMを1.5TB搭載します。2026年は少量の導入を通じた確認段階で、拡大は2027年の予定です。サーバーCPUの競争を詳しく追うなら、EPYCとVeraの比較記事もご覧ください。