Hoje, estamos lançando o MiniMax H3, um modelo de geração multimodal de uso geral. O H3 compreende contexto unificado entre texto, imagens, vídeo e áudio, gerando vídeo com som estéreo nativo, de até 15 segundos em resolução 2K.
Os primeiros testes mostram que o H3 está pronto para a criação de conteúdo comercial em uma ampla gama de casos de uso, destacando-se em seguir instruções, renderização precisa de texto e marcas e transferência de movimento V2V. Com geração e edição multimodais precisas e controláveis, o H3 foi feito para publicidade, branding, e-commerce, design de produtos, UI/UX, jogos e muito mais.
Com tecnologias como Contextual Omni Representation, H3-VAE, H3-Omni Transformer e In-Context Regeneration, o H3 oferece o melhor custo-benefício do setor. Oferecemos resolução 2K por padrão. Em 2K, o preço por segundo do H3 é menos de um terço do preço dos modelos convencionais e, em 768p, é menos da metade do preço do 720p dos modelos convencionais.
Modelos de código fechado dominam a geração de vídeo há muito tempo, com iteração mais lenta e um ecossistema menos aberto do que áreas como grandes modelos de linguagem. Para apoiar a comunidade open-source, acelerar a compatibilidade com uma gama mais ampla de hardware de IA e facilitar a criação de versões personalizadas pelos usuários, planejamos abrir os pesos do modelo nos próximos dias, sujeito às leis e regulamentações aplicáveis. A compatibilidade de hardware tem sido uma consideração fundamental desde os estágios iniciais do design do H3.
Destaques do Modelo H3
1. Compreensão de contexto multimodal
Um trabalho criativo de verdade exige combinar informações complexas entre modalidades, usando imagens, áudio, vídeo e muito mais como fontes de entrada. Por exemplo, o prompt para a cena abaixo é: "Referencie o movimento de câmera de Hitchcock do Vídeo 1, faça o personagem da Imagem 2 cantar, com os vocais combinando com o Áudio 3." Basta descrever em palavras a relação entre o contexto e o vídeo-alvo. O H3 cuida sozinho da complexa compreensão de todas as modalidades.
Entrada Multimodal
Vídeo 1
Imagem 2
Áudio 3
Vídeo Gerado pelo H3
2. Performance em 2K
3. Som Estéreo Nativo
Casos de Uso do H3
1. Títulos de Abertura de Filmes
2. Site do Produto
3. Pôster Animado
4. Publicidade & E-commerce
Filosofia de Design do H3
Rompendo as Fronteiras Entre Tarefas: Do Especializado ao Generalista
Desenvolvemos duas gerações anteriores de modelos: o Hailuo 01 construiu o sistema do zero, e o Hailuo 02 focou em melhorar componentes centrais como eficiência arquitetural, qualidade de dados e escala.
Ao projetar o H3, reconhecemos as limitações dos modelos generativos anteriores em relação às fronteiras entre tarefas: a geração de imagens era tipicamente dividida em modelos especialistas separados para T2I, edição, referência de assunto, referência de movimento e referência de estilo; voz, efeitos sonoros e música na geração de áudio eram amplamente estudados como domínios separados; e a geração de vídeo era ainda mais fragmentada em texto-para-vídeo, imagem-para-vídeo, primeiro-e-último-frame, referência de assunto, referência de movimento, referência de voz, edição de vídeo e muito mais, com fronteiras claras também entre imagem, vídeo e áudio.
Essas tarefas, capacidades e modalidades isoladas limitavam a liberdade criativa na prática. E, no lado do treinamento, limitavam a capacidade do modelo de generalizar. Ambos apontam para um grande espaço de mudança, tanto no paradigma de aplicação quanto no de treinamento. Portanto, o primeiro princípio que guiou o desenvolvimento do H3 foi unificar e generalizar entre tarefas.
Com base nisso, aqui está uma visão geral do paradigma de pré-treinamento do H3:
1. Dados e Tarefas
Texto-para-imagem
Texto-para-vídeo
*Com áudio gerado em conjunto, toda a saída de áudio é estéreo nativa
Modelagem nativa de múltiplas tomadas*
Texto-para-áudio
Sem separação entre voz, efeitos sonoros e música — tudo modelado em conjunto
2. Referência e edição generalizadas
Referência e edição de imagem-para-imagem
Referência e edição de imagem-para-vídeo
Referência e edição de áudio-para-áudio
Referência e edição de áudio-vídeo-para-áudio-vídeo
Em nosso design, "referência e edição generalizadas" significa:
- Construído inteiramente a partir de dados reais e naturais, proporcionando forte escalabilidade de dados.
- Relações de referência e edição expressas por meio de linguagem natural, em vez de confinadas a um conjunto fixo de tarefas; a linguagem (ou estrutura de inteligência, de modo geral) é a ponte para a generalização.
3. Arquitetura
Fundir diversos tipos de dados e tarefas o mais cedo possível — a proporção certa de mistura é fundamental.
4. Estratégia de Treinamento
Fundir diversos tipos de dados e tarefas o mais cedo possível no treinamento — a proporção certa de mistura é fundamental.
Todas essas escolhas apontam para o mesmo objetivo: dar ao H3 amplas capacidades de compreensão de contexto multimodal e geração desde o estágio de pré-treinamento.
Antes falamos sobre a mudança no paradigma de treinamento. E como o cenário de aplicação dos modelos de vídeo também está mudando?
Estamos vendo criadores descreverem sua intenção diretamente em linguagem natural, em vez de apenas inserir um prompt visual simples. À medida que a compreensão multimodal, o seguimento de instruções e a execução de tarefas complexas continuam melhorando, os modelos de vídeo serão capazes de captar a intenção criativa completa, lidar com necessidades de conteúdo mais complexas e gradualmente passar de "gerar um clipe" para participar de verdade de todo o processo de produção de conteúdo.
Escolhas Técnicas do H3
A filosofia de design do H3 é simples — mas construí-lo foi tudo menos simples. Do Hailuo-01 ao Hailuo-02 e ao H3, a complexidade de engenharia de cada geração cresceu cerca de 10x em relação à anterior.
Uma breve olhada em algumas das tecnologias centrais do H3:
1. H3-Contextual Omni Representation
Uma das coisas mais importantes que fizemos na engenharia do H3 foi fortalecer sua capacidade de legendagem.
- Introduzir contexto multimodal ampliou ainda mais o que a "legenda" precisa cobrir: não estamos mais apenas descrevendo o vídeo-alvo, mas a relação entre o contexto e o vídeo-alvo, e até mesmo as relações entre elementos dentro do próprio contexto.
- Precisamos descrever vídeo e áudio em conjunto, e essa relação audiovisual fica ainda mais complexa em múltiplas tomadas.
- Isso é fundamentalmente uma forma de Contextual Omni Representation, em que a linguagem atua como a ponte generalizável e intérprete, unificando "tarefas" em uma forma aberta e descritiva. Essa é a raiz da ampla capacidade do H3 de seguir instruções.
- Para chegar lá, construímos modelos dedicados e um pipeline de compreensão de todas as modalidades. A maior parte do material de origem exige cerca de 100 mil tokens de inferência, destilados para uma média de aproximadamente 4 mil tokens.
2. H3-VAE: Um Grande Avanço em Eficiência Arquitetural
A série H tem avançado continuamente na tecnologia de tokenizers. Com o H3, reformulamos completamente nosso tokenizer anterior, alcançando ganhos em toda a linha na qualidade de reconstrução e na capacidade de aprendizado, dando ao H3 uma vantagem competitiva em eficiência. Sua alta taxa de compressão também entrega um ganho de 4x no comprimento efetivo da sequência, reduzindo substancialmente os custos de treinamento e inferência, e é a tecnologia-chave por trás do nosso suporte nativo à resolução 2K.
3. H3-Omni Transformer: Uma Arquitetura Feita para a Generalização de Tarefas
Seguindo a filosofia de design do H3 de que "a arquitetura deve servir à tarefa", generalidade e eficiência foram os únicos dois objetivos. Notavelmente, deixamos de lado a arquitetura do Hailuo-02, apesar das vantagens arquiteturais significativas que ela já nos deu, porque introduziria complexidade desnecessária para um modelo construído em torno da generalização de tarefas. Acreditamos que a generalização de tarefas é uma tendência irreversível, e truques arquiteturais devem dar lugar a como o modelo é definido.
No H3, a introdução de contexto multimodal triplicou a variância no comprimento das sequências, e as cargas de trabalho de processamento para compreensão e geração se tornaram marcadamente mais heterogêneas. Adotamos uma arquitetura de treinamento que separa as cargas de trabalho de compreensão e geração, ajustando a utilização de hardware para cada uma, enquanto equilibra conjuntamente o processamento heterogêneo por amostra com o balanceamento de carga entre amostras. De ponta a ponta, isso elevou o rendimento do treinamento em quase 30%.
4. H3-In-context Regeneration
Para a saída 2K do H3, em vez de usar um módulo dedicado convencional de super-resolução, fazemos o modelo base do H3 regenerar sua própria saída de baixa resolução in-context. Isso traz duas vantagens: primeiro, o processo de regeneração reutiliza ao máximo a capacidade generativa já embutida no modelo base do H3; segundo, a abordagem in-context permite que ele recorra novamente ao contexto multimodal original para produzir saída de alta resolução, recuperando detalhes que a super-resolução tradicional só pode "adivinhar" e muitas vezes não consegue restaurar, como textos pequenos e detalhes finos.
A In-Context Regeneration é, por si só, outra expressão da generalização de tarefas.
Em breve, compartilharemos o Relatório Técnico completo do H3. Esperamos receber seus comentários.
Nossa Visão & O Que Vem a Seguir
Linguagem, imagens, vídeo e áudio são modalidades fundamentais da experiência humana. Elas são profundamente interconectadas e servem como nossas principais interfaces com o mundo. Juntas, elas formam contextos multimodais que podem comunicar uma vasta gama de informações de forma eficiente, e a capacidade de expressar e compartilhar informações é, por si só, uma forma de produtividade.
Para compreensão e geração multimodais, vemos a linguagem como um sistema computacional generalizável e escalável. É por isso que acreditamos que a inteligência multimodal deve ser profundamente fundamentada na linguagem.
O H3 ainda tem espaço para crescer, e estas são nossas prioridades para versões futuras:
- Uma compreensão multimodal forte é a base para uma geração de alta qualidade, e há espaço significativo para melhorar. Na próxima geração da série H, planejamos integrar capacidades dos nossos modelos da série M.
- O tamanho atual do modelo H3 deixa espaço para melhorias em várias capacidades. Escalar é um caminho claro, e acreditamos que uma generalização de tarefas mais forte nos permitirá desbloquear totalmente seu potencial.
- Detalhes visuais ainda podem ser melhorados em certos cenários. Continuaremos avançando em direção a resoluções mais altas e maior fidelidade visual.
Inteligência com Todos.
