Baseten は、Model APIs において Kimi K3 の day-0 サポートを提供します。Moonshot AI チームによる Kimi K3 の重みの早期アクセス提供、および開発プロセス全体を通じての協力に対し、Inferact チームと RadixArk チームに感謝いたします。
Kimi K3 は、本日より Baseten Model APIs で利用可能です。ビジョン入力と 100 万トークンの完全なコンテキストウィンドウをサポートします。
Kimi K3 は、新しいオープンフロンティアモデルです。2.8T パラメータという規模は、従来のオープンモデルをはるかに上回り、高性能な推論 API を構築する上で多くの課題をもたらします。新しいアーキテクチャ技術により、Kimi K3 は従来のオープンフロンティアモデルの 1 兆パラメータの壁を超えることが可能になりました。
- Kimi Delta Attention (KDA) と Attention Residuals (AttnRes) を、Kimi アーキテクチャのスケーラブルな基盤として採用。
- 極めて疎なエキスパート構成。896 のエキスパートのうち、同時にアクティブになるのはわずか 16 で、Stable LatentMoE を用いて編成。
- 画像入力を処理し、視覚情報を潜在空間にマッピングする新しいビジョンエンコーダ。
本記事では、Kimi K3 の革新的なモデルアーキテクチャと巨大な重みを、ローンチ当日に本番規模で実行するために必要な技術的取り組みについて説明します。
マイルストーン 1: トークンを生成する
Moonshot AI チームから Kimi K3 の重みへの早期アクセスを得た後、最初の優先事項は、とにかくモデルを起動して動作させることでした。
Kimi K3 の最初のトークンを生成するためには、以下が必要でした。
- ハードウェアのプロビジョニング: Kimi K3 のサイズを考慮し、NVIDIA GB300 NVL72 システム上でモデルを実行することを決定。
- 重みのロード: MXFP4 形式では、Kimi K3 の重みは 1.4TB を超えるデータ量。
- 推論エンジンの立ち上げ: vLLM および SGLang のチームと協力し、Kimi K3 向けのプレリリース版推論エンジンを実行。
day-0 API を構築する際、初期段階では重みを NVFP4 に変換して、NVIDIA Blackwell および当社の推論スタックとのパフォーマンスと互換性を向上させることがよくあります。しかし、Kimi K3 はネイティブの MXFP4 重みと MXFP8 アクティベーションを使用しており、これらの重みを直接使用することができました。
重みを入手した後、vLLM については Inferact と、SGLang については RadixArk と緊密に連携しました。Baseten Inference Stack 上で Kimi K3 を実行する前に、主要なオープンソース推論エンジンと協力してベースラインを確立する必要がありました。
推論エンジンにモデルサポートを追加することは、決して簡単ではありません。コアモデリングコードの実装、KDA のような新しいアーキテクチャ向けの最適化カーネルの開発、トークン化からツール呼び出しに至るまで、Kimi K3 のフロントエンド互換性の構築が必要です。
vLLM の NVIDIA Blackwell GPU 向け早期アクセスイメージは、基本的な機能の完全性を確立し、初期評価を通過し、ベースラインパフォーマンス目標を設定するのに役立ちました。KDA、AttnRes、Stable LatentMoE などの Kimi K3 のアーキテクチャ機能に対応するこの作業は、その後の開発の強固な基盤となりました。また、Kimi K3 向けの vLLM 推論エンジンの広範な検証を実施し、その成果をオープンソースエンジンにフィードバックしました。
SGLang の早期アクセスイメージは、Kimi K3 の高速かつ信頼性の高いサービングのリファレンスを提供しました。SGLang はビジョン言語モデルに対する強力なサポートの実績があり、Kimi K3 も例外ではありません。RadixArk チームと協力して、フロントエンドの互換性とカーネル最適化に注力し、当社のエンジニアリングチームは、ツール呼び出し処理や構造化出力に関するフロントエンドのバグ修正を提供し、リリース準備を支援しました。
プレビュー期間中、共に開発を進めてくださった Inferact チームと RadixArk チームに感謝します。この作業は、Kimi K3 API の重要な基盤を提供するとともに、オープンソースコミュニティへの貢献の機会ともなりました。
マイルストーン 2: 推論エンジンを検証する
Kimi K3 は、これまでで最も賢いオープンモデルです。推論中にその知能を実際に提供することが不可欠です。
Kimi K3 のベンチマークは、エージェントタスクにおける強力なパフォーマンスを示しています。エージェントタスクは、正確なツール呼び出しと高品質なモデル出力に依存します。
品質検証は、さまざまな厳格さのレベルで実施できます。既知のプロンプトでモデルを呼び出したり、gsm8k や BFCL のような軽量ベンチマークを実行して結果が誤差の範囲内にあるかを確認するといった簡単な健全性チェックは、開発プロセス中に問題が発生していないことを確認するための有用なチェックポイントです。しかし、公開 API をリリースするには、より厳格なベンチマークが必要です。
Moonshot AI チームは、Kimi Vendor Verifier を運用しており、推論プロバイダーがモデルの重みを正確かつ高忠実度で提供できるよう支援しています。Kimi Vendor Verifier に合格することは、API 開発における重要な初期マイルストーンであり、開発プロセス全体を通じて非常に有用なツールでした。
モデルのサービングでは、多くのミスが発生する可能性があります。量子化がすべての品質問題の原因であるという一般的な認識がありますが、実際にはそうではありません。特にツール呼び出しやその他の構造化されたモデル動作に関する品質問題のほとんどは、推論サーバーのフロントエンドに起因します。
フロントエンドは推論エンジンの前に位置し、入力と出力を処理します。
フロントエンドは、推論ループの前で CPU 上で実行される決定論的なコードです。入力を受け付け、出力を返す役割を担います。フロントエンドは以下のことを行う必要があります。
- API の操作と検証
- プロンプトのトークン化と出力のデトークン化
- チャットテンプレートのレンダリング
- 推論やツール呼び出しの解析
- 出力を ChatCompletions、messages、またはその他の標準形式にフォーマット
これらのタスクはモデルごとに微妙に異なり、day-0 サポートを迅速に構築する際に、バグやパフォーマンス低下を引き起こすことは非常に一般的です。Kimi Vendor Verifier のような堅牢なチェックは、ツール呼び出しなどの一般的な障害モードにおけるパフォーマンスを評価し、推論ループと API サーフェスの両方でモデルが高い忠実度で提供されることを保証します。
API の開発を続ける中で、その後のマイルストーンでも Kimi Vendor Verifier を使用し、パフォーマンス最適化によって精度を低下させるバグが発生していないことを確認しました。
マイルストーン 3: 適切な構成を見つける
推論エンジンは、さまざまなモデル、ハードウェア、トラフィックパターン、レイテンシ/スループットのトレードオフに合わせてパフォーマンスを調整するための、幅広い構成オプションを提供します。これらのオプションとそれらの間の相互作用は複雑です。
適切な構成を見つけるために、Tensor Parallelism (TP) や Expert Parallelism (EP) の設定、Attention Data Parallelism (ADP) の切り替え、バッチサイズ、投機デコーダのドラフト長、線形層キャッシュ間隔、ルーティングパラメータ、推論エンジン設定など、さまざまなオプションをスイープします。
Tensor Parallelism と Expert Parallelism は、大きなモデルを複数の GPU に分割します。
Kimi K3 を実行するには、巨大なモデル重みを VRAM に収めるために、8 つの NVIDIA GB300 GPU が必要です。しかし、8 台のノードで提供される他の多くの NVIDIA GPU とは異なり、GB300 は 4 台のノードで提供されます。これは一見、可能な並列化戦略を制限するように思えるかもしれません。Tensor Parallelism は、低速なインターコネクトが高価な all-reduce 操作のボトルネックとなるため、従来はノード間で実行できませんでした。しかし、GB300 NVL72 システムはノード間のインターコネクトが十分に高速であるため、ノード間で Tensor Parallelism と Expert Parallelism を使用した推論を実行できます。
これらの構成決定は、推論エンジンの選択に依存します。エンジニアは、vLLM、SGLang、および自社のエンジンを並行して設定し、知見を共有し、学びを自社の推論エンジンに適用するとともに、オープンソースエンジンに PR を貢献しました。
マイルストーン 4: パフォーマンスを最適化する
モデルが最適化された構成で起動して実行されると、レイテンシ、スループット、またはその両方を大幅に改善できる、多数の推論エンジニアリング手法が存在します。Model APIs では、通常以下の点に注目します。
- 投機的実行: 小さなドラフトモデルを使用して複数のトークンを予測し、フォワードパスの一部として検証します。このロスレス最適化により、ユーザーあたりのデコード TPS が向上します。
- 分離: プリフィルとデコードを別々のワーカーに移動します。これにより、リソースの競合を防ぎ、よりターゲットを絞った設定が可能になり、トラフィックに合わせてプリフィルとデコードの計算比率を調整できます。
- キャッシング: KV キャッシュと KDA 状態をリクエスト間で保存するためにメモリを割り当て、入力シーケンスでプレフィックスを共有する後続のリクエストがプリフィルの全部または一部をスキップできるようにします。これにより、TTFT とシステム全体のスループットが向上します。
前のマイルストーンでモデルが起動して実行されていることが、この作業の前提条件です。例えば、DSpark、DFlash、または EAGLE-3 などの手法を使用して投機モデルをトレーニングするには、実際の使用を模したプロンプトのセットを使用して、ターゲットモデル (Kimi K3) から隠れ状態を生成する必要があります。これを行うには、モデルが十分に高いスループットで稼働し、推論を実行しているインスタンスが必要です。
新しいパフォーマンス最適化の 1 つは、トークナイザーに関するものでした。長年にわたり、推論エンジニアはトークン化時間を無視できるものとして扱ってきました。しかし、Kimi K3 のような長い入力シーケンスと高い KV キャッシュ再利用率を持つモデルでは、状況が変わります。入力シーケンスがキャッシュヒットかどうかに関わらずトークン化は発生するため、トークン化がプリフィル時間に影響を与える可能性があります。
そこで、長い入力シーケンスにおいて tiktoken よりも最大 18 倍高速なカスタムトークナイザーを構築し、Kimi K3 API と共に展開しました。
Basetenkenizer は、長い入力シーケンスにおいて Tiktoken よりも最大 18 倍高速です。
パフォーマンスに関しては、まだやるべきことがあります。ローンチするすべてのモデルについて、リリース後数週間はレイテンシとスループットの最適化に継続的に投資しています。Kimi K3 の前例のないサイズにより、主要な推論エンジニアリング手法のすべてと、推論スタックのすべての層において、さらなるパフォーマンス改善の余地が大きく残されています。
マイルストーン 5: 本番規模でデプロイする
Kimi K3 に対する業界全体の期待は非常に高く、ローンチ時には API への膨大な需要が見込まれます。したがって、ユーザーあたりのレイテンシだけでなく、システム全体のスループットが最優先事項です。
GB300 NVL72 システムでは、1 ノードは 4 つの個別の GPU であり、18 ノード存在します。インスタンスとして、Kimi K3 は 2 ノード (8 GPU) を占有します。各 NVL72 ラックはモデルの 9 つのレプリカをホストできます。各クラスタには複数の GB300 NVL72 ラックがあり、さらに多くのキャパシティにアクセスするために、複数のリージョンとクラウドプロバイダーにまたがってモデルを提供します。
各 NVL72 システムは、Kimi K3 の 9 つのレプリカを実行できます。
特定のレプリカのスループットに最も影響を与える要因は、プレフィックスキャッシュのヒット率です。デプロイの規模を考えると、KV アウェアルーティングがインフラストラクチャ上の主要な課題となります。ユーザーが以前に処理した入力トークンのシーケンスを送信した場合、保存された KV キャッシュにアクセスできるレプリカにそのリクエストをルーティングし、プリフィルをスキップする必要があります。
NVIDIA Dynamo ツールキットを使用して構築された KV アウェアルーティングシステムにより、繰り返しのクエリに対してウォームキャッシュを持つレプリカにトラフィックをルーティングできるようになります。コーディングやマルチターンエージェントは Kimi K3 の一般的なユースケースであるため、このキャッシュアウェアルーティングシステムは、ユーザーのコスト削減と高いシステム全体のスループット維持に不可欠です。
Baseten で Kimi K3 を構築する
Model APIs による day-0 アクセスを提供できることを嬉しく思います。今後もこのモデルの実装を最適化し、パフォーマンスと信頼性の最高水準を達成することを目指します。
Moonshot AI チームの Kimi K3 発表 には、カーネル最適化やビジョンインザループのゲーム開発などのコーディングタスク、研究タスク、動画編集やナレッジワークなどのエージェントタスクを含む、モデルの興味深いテストが多数含まれています。7 月 28 日火曜日午前 11 時 (太平洋夏時間) に、Baseten のフォワードデプロイエンジニアリングを統括する Joey Zwicker と共に、Kimi K3 のユースケースに関するエグゼクティブブリーフィング を開催します。
Kimi K3 は、本日より Baseten Model APIs で利用可能です。オープンウェイトインテリジェンスの新たなフロンティアへようこそ。
本記事で彼らの貢献を記録することを許可してくれた、Kimi K3 API の背後にいる多くのエンジニアの皆様に感謝します。モデルパフォーマンス、インフラストラクチャ、キャパシティ、トレーニング、プロダクト、フォワードデプロイエンジニアリングの各チームの、名前を挙げきれないほど多くのメンバーが含まれます。また、Moonshot AI、Inferact、RadixArk の各チームの協力とサポートにも感謝します。
