本日、汎用マルチモーダル生成モデル「MiniMax H3」をリリースします。H3 はテキスト、画像、動画、音声を統合したコンテキストを理解し、2K 解像度で最大 15 秒のネイティブステレオサウンド付き動画を生成します。
初期テストでは、H3 が幅広いユースケースでの商用コンテンツ制作にすぐに活用できることが確認されています。指示追従、正確なテキスト・ブランド描画、V2V モーション転送に優れています。正確で制御可能なマルチモーダル生成と編集を備えた H3 は、広告、ブランディング、E コマース、プロダクトデザイン、UI/UX、ゲームなど、多岐にわたる用途に向けて設計されています。
Contextual Omni Representation、H3-VAE、H3-Omni Transformer、In-Context Regeneration などの技術を中核に、H3 は業界トップクラスのコストパフォーマンスを実現します。2K 解像度をデフォルトで提供しており、2K では H3 の 1 秒あたりの価格が主流モデルの 3 分の 1 未満、768p では主流モデルの 720p の半分以下です。
動画生成の分野では、クローズドソースモデルが長らく主流であり、大規模言語モデルなどの分野と比べてイテレーションが遅く、エコシステムの開放性も低い状況が続いています。オープンソースコミュニティを支援し、より幅広い AI ハードウェアとの互換性を促進し、ユーザーが独自のカスタマイズ版を構築しやすくするため、適用される法令に従った上で、近日中にモデルウェイトを公開する予定です。ハードウェア互換性は、H3 の設計の初期段階から重要な考慮事項でした。
H3 のモデルハイライト
1. マルチモーダルコンテキストの理解
本当のクリエイティブワークには、画像、音声、動画など、複数のモダリティにまたがる複雑な情報を統合し、入力ソースとして活用することが求められます。たとえば、以下のショットのプロンプトは次のとおりです。「動画 1 のヒッチコック風のカメラワークを参照し、画像 2 のキャラクターに歌わせ、ボーカルを音声 3 に合わせる」。コンテキストとターゲット動画の関係を言葉で説明するだけで、H3 が複雑な全モダリティの理解を自ら処理します。
マルチモーダル入力
動画 1
画像 2
音声 3
H3 が生成した動画
2. 2K パフォーマンス
3. ネイティブステレオサウンド
H3 のユースケース
1. 映画オープニングタイトル
2. プロダクトウェブサイト
3. アニメーションポスター
4. 広告 & E コマース
H3 の設計哲学
タスク間の境界を打破する：特化型から汎用型へ
当社はこれまでに 2 世代のモデルを開発してきました。Hailuo 01 はシステムをゼロから構築し、Hailuo 02 はアーキテクチャ効率、データ品質、スケールといった中核コンポーネントの改善に注力しました。
H3 の設計にあたり、従来の生成モデルにおけるタスク境界の限界を認識しました。画像生成は通常、T2I、編集、被写体参照、モーション参照、スタイル参照という別々の専門モデルに分割されていました。音声生成における声、効果音、音楽は、それぞれ別々の領域として研究されることがほとんどでした。動画生成はさらに、テキストから動画、画像から動画、最初と最後のフレーム、被写体参照、モーション参照、音声参照、動画編集などへと細分化され、画像・動画・音声の間にも明確な境界が存在していました。
こうしたサイロ化されたタスク、機能、モダリティは、実際のクリエイティブの自由度を制約し、訓練面ではモデルの汎化能力を制限していました。どちらも、応用パラダイムと訓練パラダイムの両方において、大きな変革の余地があることを示しています。そこで H3 開発の第一原則は、タスク横断での統合と汎用化となりました。
これを踏まえ、H3 の事前学習パラダイムを簡単に紹介します。
1. データとタスク
テキストから画像へ
テキストから動画へ
*音声を同時生成する場合、すべての音声出力はネイティブステレオ
ネイティブマルチショットモデリング*
テキストから音声へ
声、効果音、音楽を分離せず、すべてを統合的にモデリング
2. 汎用参照と編集
画像から画像への参照と編集
画像から動画への参照と編集
音声から音声への参照と編集
音声動画から音声動画への参照と編集
当社の設計における「汎用参照と編集」の意味は次のとおりです:
- 実際の自然データのみから構築され、強力なデータスケーラビリティを備えていること。
- 参照と編集の関係が、固定されたタスクセットに限定されるのではなく、自然言語で表現されること。言語（広義には知能構造）が汎化への橋渡しとなること。
3. アーキテクチャ
多様なデータタイプとタスクを可能な限り早期に融合する — 適切な混合比率が鍵となります。
4. 訓練戦略
訓練においても、多様なデータタイプとタスクを可能な限り早期に融合する — 適切な混合比率が鍵となります
これらの選択はすべて、同じゴールを指向しています。事前学習の段階から H3 に幅広いマルチモーダルコンテキストの理解と生成能力を持たせることです。
先ほど訓練パラダイムの変化について述べましたが、動画モデルの応用環境もどのように変わりつつあるのでしょうか？
クリエイターは、単純なビジュアルプロンプトを入力するだけでなく、自然言語で自分の意図を直接記述するようになっています。マルチモーダル理解、指示追従、複雑なタスク実行が向上し続けるにつれ、動画モデルは、より完全なクリエイティブな意図を把握し、より複雑なコンテンツニーズに対応できるようになり、「クリップを生成する」ことから、コンテンツ制作プロセス全体に真に参加する方向へと徐々に移行していくでしょう。
H3 の技術的選択
H3 の設計哲学はシンプルです。しかし、それを実現することは決してシンプルではありませんでした。Hailuo-01 から Hailuo-02、そして H3 へと、各世代のエンジニアリングの複雑さは前世代比でおよそ 10 倍に増大しています。
H3 の中核技術のいくつかを簡単に見ていきましょう。
1. H3-Contextual Omni Representation
H3 のエンジニアリングにおいて最も重要な取り組みのひとつが、キャプショニング機能の強化です。
- マルチモーダルコンテキストの導入により、「キャプション」がカバーすべき範囲はさらに広がりました。もはやターゲット動画を説明するだけでなく、コンテキストとターゲット動画の関係、さらにはコンテキスト内の要素同士の関係まで記述する必要があります。
- 動画と音声をまとめて記述する必要があり、その音声と映像の関係は、複数ショットにまたがるとさらに複雑になります。
- これは根本的に Contextual Omni Representation の一形態であり、言語が汎用性のある橋渡し役、そして通訳者として機能し、「タスク」をオープンかつ記述的な形式に統一します。これが H3 の広範な指示追従能力の根源です。
- これを実現するため、専用モデルと全モダリティ対応の理解パイプラインを構築しました。ほとんどのソース素材では約 100K トークンの推論が必要ですが、これを平均約 4K トークンにまで凝縮します。
2. H3-VAE：アーキテクチャ効率の大幅な向上
H シリーズはトークナイザー技術を継続的に前進させてきました。H3 では従来のトークナイザーを全面的に刷新し、再構築品質と学習容易性を全体的に向上させ、効率面での競争優位性を H3 にもたらしました。その高い圧縮率は、実効シーケンス長を 4 倍に拡大し、訓練コストと推論コストを大幅に削減します。また、ネイティブ 2K 解像度対応を支える中核技術でもあります。
3. H3-Omni Transformer：タスク汎化のために設計されたアーキテクチャ
「アーキテクチャはタスクに奉仕すべき」という H3 の設計哲学に従い、汎用性と効率性の 2 つだけをゴールに設定しました。特筆すべきは、かつて大きなアーキテクチャ上の優位性をもたらした Hailuo-02 のアーキテクチャを、タスク汎化を中心に設計されたモデルには不要な複雑さをもたらすとして、あえて採用しなかったことです。タスク汎化は不可逆的なトレンドであり、アーキテクチャ上の技巧はモデルの定義方法に道を譲るべきだと考えています。
H3 では、マルチモーダルコンテキストの導入によりシーケンス長の分散が 3 倍に拡大し、理解と生成の計算負荷は著しく不均一になりました。そこで、理解と生成のワークロードを分離し、それぞれのハードウェア利用を最適化すると同時に、サンプルごとの不均一な計算量とサンプル間の負荷分散のバランスを最適化する訓練アーキテクチャを採用しました。エンドツーエンドで、訓練スループットは約 30% 向上しました。
4. H3-In-context Regeneration
H3 の 2K 出力では、従来の専用スーパーレゾリューションモジュールを使用せず、H3 ベースモデルが自身の低解像度出力をコンテキスト内で再生成します。これには 2 つの利点があります。1 つ目は、再生成プロセスが H3 ベースモデルに組み込まれた生成能力を最大限に再利用することです。2 つ目は、コンテキスト内アプローチにより、元のマルチモーダルコンテキストを再度参照して高解像度出力を生成できるため、小さなテキストや微細なディテールなど、従来のスーパーレゾリューションでは「推測」するしかなく、復元できないことが多いディテールを回復できることです。
In-Context Regeneration 自体も、タスク汎化のもうひとつの表現です。
近日中に H3 の完全版テクニカルレポートを公開します。皆様からのフィードバックをお待ちしております。
私たちのビジョンと今後の展望
言語、画像、動画、音声は、人間の体験における基本的なモダリティです。これらは深く相互接続されており、私たちと世界をつなぐ主要なインターフェースとして機能します。これらが一体となることで、膨大な情報を効率的に伝達できるマルチモーダルコンテキストが形成されます。そして、情報を表現し共有する能力自体が、ひとつの生産性です。
マルチモーダル理解と生成について、私たちは言語を、汎用性がありスケーラブルな計算システムと捉えています。だからこそ、マルチモーダルインテリジェンスは言語に深く根ざすべきだと信じています。
H3 にはまだ成長の余地があります。今後のバージョンにおける優先事項は次のとおりです。
- 強力なマルチモーダル理解は高品質な生成の基盤であり、改善の余地が大きく残されています。次世代の H シリーズでは、M シリーズモデルの機能を統合する予定です。
- H3 の現在のモデルサイズには、いくつかの機能において改善の余地が残されています。スケーリングが明確な前進の道筋であり、より強力なタスク汎化によってその潜在能力を最大限に引き出せると考えています。
- 特定のシナリオでは、視覚的なディテールにまだ改善の余地があります。引き続き、より高い解像度とより高い視覚的忠実度を目指して前進していきます。
すべての人と、インテリジェンスを。
