Oggi lanciamo MiniMax H3, un modello di generazione multimodale general-purpose. H3 comprende un contesto unificato su testo, immagini, video e audio, generando video con audio stereo nativo, fino a 15 secondi con risoluzione 2K.
I primi test mostrano che H3 è pronto per la creazione di contenuti commerciali in un'ampia gamma di casi d'uso, eccellendo nel seguire le istruzioni, nel rendering accurato di testo e brand e nel trasferimento del movimento V2V. Con una generazione e un editing multimodale precisi e controllabili, H3 è pensato per pubblicità, branding, e-commerce, product design, UI/UX, gaming e molto altro.
Grazie a tecnologie come Contextual Omni Representation, H3-VAE, H3-Omni Transformer e In-Context Regeneration, H3 offre un rapporto prezzo/prestazioni leader del settore. Offriamo la risoluzione 2K come standard. In 2K, il prezzo al secondo di H3 è inferiore a un terzo rispetto ai modelli mainstream, e a 768p è meno della metà del prezzo dei modelli mainstream a 720p.
I modelli closed-source hanno a lungo dominato la generazione video, con iterazioni più lente e un ecosistema meno aperto rispetto a settori come i large language model. Per supportare la comunità open-source, accelerare la compatibilità con una più ampia gamma di hardware AI e rendere più facile per gli utenti creare le proprie versioni personalizzate, prevediamo di rendere aperti i pesi del modello nei prossimi giorni, in conformità con le leggi e i regolamenti applicabili. La compatibilità hardware è stata una considerazione chiave sin dalle prime fasi della progettazione di H3.
Punti salienti del modello H3
1. Comprensione del contesto multimodale
Il lavoro creativo reale richiede di combinare informazioni complesse tra più modalità, usando immagini, audio, video e altro come fonti di input. Ad esempio, il prompt per l'inquadratura qui sotto è: «Fai riferimento al movimento di camera di Hitchcock del Video 1, fai cantare il personaggio dell'Immagine 2, con la voce che corrisponde all'Audio 3». Basta descrivere a parole la relazione tra il contesto e il video target. H3 gestisce da solo la complessa comprensione a piena modalità.
Input multimodale
Video 1
Immagine 2
Audio 3
Video generato da H3
2. Prestazioni 2K
3. Suono stereo nativo
Casi d'uso di H3
1. Titoli di testa dei film
2. Sito web del prodotto
3. Poster animato
4. Pubblicità ed e-commerce
La filosofia progettuale di H3
Oltre i confini tra i compiti: da specializzati a general-purpose
Abbiamo sviluppato due generazioni precedenti di modelli: Hailuo 01 ha costruito il sistema da zero, mentre Hailuo 02 si è concentrato sul miglioramento dei componenti chiave come l'efficienza architetturale, la qualità dei dati e la scala.
Nella progettazione di H3, abbiamo riconosciuto i limiti dei precedenti modelli generativi rispetto ai confini tra i compiti: la generazione di immagini era tipicamente suddivisa in modelli esperti separati per T2I, editing, reference del soggetto, reference del movimento e reference dello stile; voce, effetti sonori e musica nella generazione audio erano in gran parte studiati come domini separati; e la generazione video era ulteriormente frammentata in text-to-video, image-to-video, primo e ultimo fotogramma, reference del soggetto, reference del movimento, reference della voce, editing video e altro, con chiari confini anche tra immagine, video e audio.
Questi compiti, capacità e modalità frammentati limitavano la libertà creativa nella pratica. E, sul lato training, limitavano la capacità del modello di generalizzare. Entrambi gli aspetti indicano un ampio margine di cambiamento, sia nel paradigma applicativo che in quello di training. Così il primo principio che ha guidato lo sviluppo di H3 è stato unificare e generalizzare tra i compiti.
Sulla base di questo, ecco una breve panoramica del paradigma di pre-training di H3:
1. Dati e compiti
Text-to-image
Text-to-video
*Con audio generato congiuntamente, tutto l'output audio è stereo nativo
Modellazione multi-shot nativa*
Text-to-audio
Nessuna separazione tra voce, effetti sonori e musica — tutto modellato congiuntamente
2. Reference ed editing generalizzati
Reference ed editing image-to-image
Reference ed editing image-to-video
Reference ed editing audio-to-audio
Reference ed editing audio-video-to-audio-video
Nel nostro design, "reference ed editing generalizzati" significa:
- Costruito interamente su dati reali e naturali, offrendo una forte scalabilità dei dati.
- Le relazioni di reference ed editing sono espresse tramite linguaggio naturale invece di essere confinate a un insieme fisso di compiti; il linguaggio (o la struttura dell'intelligenza, in senso lato) è il ponte verso la generalizzazione.
3. Architettura
Fondere tipi di dati e compiti diversi il prima possibile: il giusto rapporto di miscelazione è fondamentale.
4. Strategia di training
Fondere tipi di dati e compiti diversi il prima possibile nel training: il giusto rapporto di miscelazione è fondamentale.
Queste scelte puntano tutte allo stesso obiettivo: dare a H3 ampie capacità di comprensione del contesto multimodale e di generazione fin dalla fase di pre-training.
Prima abbiamo parlato del cambiamento nel paradigma di training: come sta cambiando anche il panorama applicativo dei modelli video?
Vediamo i creatori descrivere le loro intenzioni direttamente in linguaggio naturale, invece di inserire un semplice prompt visivo. Con il continuo miglioramento della comprensione multimodale, del seguire le istruzioni e dell'esecuzione di compiti complessi, i modelli video saranno in grado di cogliere l'intento creativo nella sua interezza, gestire esigenze di contenuto più complesse e passare gradualmente dal «generare un clip» al partecipare davvero all'intero processo di produzione dei contenuti.
Le scelte tecniche di H3
La filosofia progettuale di H3 è semplice — ma costruirlo è stato tutto fuorché semplice. Da Hailuo-01 a Hailuo-02 fino a H3, la complessità ingegneristica di ogni generazione è cresciuta di circa 10 volte rispetto alla precedente.
Uno sguardo rapido ad alcune delle tecnologie chiave di H3:
1. H3-Contextual Omni Representation
Una delle cose più importanti che abbiamo fatto nell'ingegneria di H3 è stata rafforzare la sua capacità di captioning.
- L'introduzione del contesto multimodale ha ulteriormente ampliato ciò che la «caption» deve coprire: non descriviamo più solo il video target, ma la relazione tra contesto e video target, e persino le relazioni tra gli elementi all'interno del contesto stesso.
- Dobbiamo descrivere congiuntamente video e audio, e quella relazione audiovisiva diventa ancora più complessa su più inquadrature.
- Questa è fondamentalmente una forma di Contextual Omni Representation, in cui il linguaggio funge da ponte generalizzabile e interprete, unificando i «compiti» in una forma aperta e descrittiva. Questa è la radice dell'ampia capacità di H3 di seguire le istruzioni.
- Per arrivare a questo, abbiamo costruito modelli dedicati e una pipeline di comprensione a piena modalità. La maggior parte del materiale sorgente richiede circa 100K token di inferenza, distillati fino a una media di circa 4K token.
2. H3-VAE: un grande salto in efficienza architetturale
La serie H ha continuamente fatto avanzare la tecnologia dei tokenizer. Con H3, abbiamo completamente rinnovato il nostro tokenizer precedente, ottenendo miglioramenti generalizzati nella qualità di ricostruzione e nell'apprendibilità, dando a H3 un vantaggio competitivo in efficienza. Il suo alto tasso di compressione offre anche un guadagno di 4x nella lunghezza effettiva della sequenza, riducendo sensibilmente i costi di training e inferenza, ed è la tecnologia chiave che abilita il supporto nativo alla risoluzione 2K.
3. H3-Omni Transformer: un'architettura costruita per la generalizzazione dei compiti
In linea con la filosofia progettuale di H3 secondo cui «l'architettura deve servire il compito», generalità ed efficienza erano i soli due obiettivi. In particolare, abbiamo accantonato l'architettura di Hailuo-02, nonostante i significativi vantaggi architetturali che ci aveva dato, perché avrebbe introdotto una complessità non necessaria per un modello costruito attorno alla generalizzazione dei compiti. Crediamo che la generalizzazione dei compiti sia una tendenza irreversibile, e che i trucchi architetturali debbano cedere il passo a come il modello è definito.
In H3, l'introduzione del contesto multimodale ha triplicato la varianza nella lunghezza delle sequenze, e i carichi di calcolo per comprensione e generazione sono diventati decisamente più eterogenei. Abbiamo adottato un'architettura di training che separa i carichi di comprensione e generazione, ottimizzando l'utilizzo dell'hardware per ciascuno, bilanciando al contempo il calcolo eterogeneo per campione con il bilanciamento del carico tra campioni. Nel complesso, questo ha aumentato il throughput di training di quasi il 30%.
4. H3-In-context Regeneration
Per l'output 2K di H3, invece di usare un modulo di super-resolution dedicato e convenzionale, facciamo sì che il modello base H3 rigeneri il proprio output a bassa risoluzione in-context. Questo porta due vantaggi: primo, il processo di rigenerazione riutilizza al massimo la capacità generativa già integrata nel modello base H3; secondo, l'approccio in-context gli consente di attingere nuovamente al contesto multimodale originale per produrre un output ad alta risoluzione, recuperando dettagli che la super-resolution tradizionale può solo «intuire» e spesso non riesce a ripristinare, come testi piccoli e dettagli minuti.
In-Context Regeneration è a sua volta un'altra espressione della generalizzazione dei compiti.
Presto condivideremo il rapporto tecnico completo di H3. Non vediamo l'ora di ricevere il tuo feedback.
La nostra visione e i prossimi passi
Linguaggio, immagini, video e audio sono modalità fondamentali dell'esperienza umana. Sono profondamente interconnessi e rappresentano le nostre principali interfacce con il mondo. Insieme, formano contesti multimodali che possono comunicare un'enorme varietà di informazioni in modo efficiente, e la capacità di esprimere e condividere informazioni è di per sé una forma di produttività.
Per la comprensione e la generazione multimodale, consideriamo il linguaggio un sistema computazionale generalizzabile e scalabile. È per questo che crediamo che l'intelligenza multimodale debba essere profondamente radicata nel linguaggio.
H3 ha ancora margine di crescita, ed ecco le nostre priorità per le versioni future:
- Una solida comprensione multimodale è il fondamento di una generazione di alta qualità, e c'è ancora ampio margine di miglioramento. Nella prossima generazione della serie H, prevediamo di integrare le capacità dei nostri modelli della serie M.
- La dimensione attuale del modello H3 lascia spazio a miglioramenti in diverse capacità. Lo scaling è una strada chiara da percorrere, e crediamo che una più forte generalizzazione dei compiti ci permetterà di liberare appieno il suo potenziale.
- Il dettaglio visivo può ancora essere migliorato in alcuni scenari. Continueremo a spingere verso risoluzioni più elevate e una maggiore fedeltà visiva.
Intelligenza con tutti.
