Bugün, MiniMax H3'ü tanıtıyoruz: genel amaçlı, çok modlu bir üretim modeli. H3; metin, görsel, video ve ses arasındaki birleşik bağlamı anlar ve 2K çözünürlükte 15 saniyeye kadar, doğal stereo ses içeren videolar üretir.
İlk testler, H3'ün çok çeşitli kullanım senaryoları için ticari içerik üretimine hazır olduğunu gösteriyor; talimat takibi, doğru metin ve marka oluşturma ile V2V hareket aktarımında üstün performans sergiliyor. Hassas ve kontrol edilebilir çok modlu üretim ve düzenleme özellikleriyle H3; reklamcılık, markalaşma, e-ticaret, ürün tasarımı, UI/UX, oyun ve daha fazlası için geliştirildi.
Contextual Omni Representation, H3-VAE, H3-Omni Transformer ve In-Context Regeneration gibi teknolojilerle güçlendirilen H3, sektör lideri fiyat/performans oranı sunuyor. Varsayılan olarak 2K çözünürlük sunuyoruz. 2K'da H3'ün saniye başına fiyatı, ana akım modellerin üçte birinden az; 768p'de ise ana akım modellerin 720p fiyatının yarısından daha düşük.
Kapalı kaynak modeller uzun süredir video üretimine hâkim durumda; bu alan, büyük dil modelleri gibi alanlarla karşılaştırıldığında daha yavaş iterasyon ve daha az açık bir ekosistem sunuyor. Açık kaynak topluluğunu desteklemek, daha geniş bir yapay zekâ donanımı yelpazesiyle uyumluluğu hızlandırmak ve kullanıcıların kendi özelleştirilmiş sürümlerini oluşturmasını kolaylaştırmak için, önümüzdeki günlerde model ağırlıklarını geçerli yasa ve yönetmeliklere tabi olarak açmayı planlıyoruz. Donanım uyumluluğu, H3'ün tasarımının en erken aşamalarından bu yana önemli bir husus olmuştur.
H3 Model Öne Çıkanları
1. Çok Modlu Bağlam Anlama
Gerçek yaratıcı çalışmalar; görseller, sesler, videolar ve daha fazlasını girdi kaynağı olarak kullanarak farklı modlar arasındaki karmaşık bilgileri harmanlamayı gerektirir. Örneğin, aşağıdaki çekim için verilen istem şu şekilde: "Video 1'deki Hitchcock kamera hareketini referans al, Görsel 2'deki karakterin şarkı söylemesini sağla, vokalleri de Ses 3 ile eşleştir." Bağlam ile hedef video arasındaki ilişkiyi kelimelerle tanımlamanız yeterli. H3, bu karmaşık, tam kapsamlı mod anlayışını kendi başına halleder.
Çok Modlu Girdi
Video 1
Görsel 2
Ses 3
H3 Tarafından Üretilen Video
2. 2K Performansı
3. Doğal Stereo Ses
H3 Kullanım Alanları
1. Film Açılış Jenerikleri
2. Ürün Web Sitesi
3. Animasyonlu Poster
4. Reklamcılık ve E-ticaret
H3'ün Tasarım Felsefesi
Görevler Arasındaki Sınırları Kırmak: Uzmanlaşmıştan Genel Amaçlıya
Daha önce iki nesil model geliştirdik: Hailuo 01 sistemi sıfırdan inşa etti, Hailuo 02 ise mimari verimlilik, veri kalitesi ve ölçek gibi temel bileşenleri iyileştirmeye odaklandı.
H3'ü tasarlarken, önceki üretim modellerinin görev sınırları etrafındaki kısıtlarını fark ettik: görüntü üretimi tipik olarak T2I, düzenleme, özne referansı, hareket referansı ve stil referansı için ayrı uzman modellere bölünmüştü; ses üretiminde konuşma, ses efektleri ve müzik büyük ölçüde ayrı alanlar olarak çalışılıyordu; video üretimi ise metinden videoya, görüntüden videoya, ilk ve son kare, özne referansı, hareket referansı, ses referansı, video düzenleme ve daha fazlasına bölünmüş durumdaydı; ayrıca görüntü, video ve ses arasında da net sınırlar vardı.
Bu izole görevler, yetenekler ve modlar, pratikte yaratıcı özgürlüğü kısıtlıyordu. Eğitim tarafında ise modelin genelleme yeteneğini sınırlıyordu. Her ikisi de uygulama paradigmasında ve eğitim paradigmasında büyük bir değişim alanı olduğuna işaret ediyor. Bu nedenle H3'ün gelişimine yön veren ilk ilke, görevler arasında birleştirme ve genelleştirme yapmaktı.
Bu temelde, H3'ün ön eğitim paradigmasının kısa bir özeti şöyle:
1. Veri ve Görevler
Metinden görüntüye
Metinden videoya
*Birlikte üretilen ses sayesinde tüm ses çıktıları doğal stereodur
Doğal çoklu çekim modellemesi*
Metinden sese
Konuşma, ses efektleri ve müzik arasında ayrım yok — hepsi birlikte modelleniyor
2. Genelleştirilmiş Referans ve Düzenleme
Görüntüden görüntüye referans ve düzenleme
Görüntüden videoya referans ve düzenleme
Sesten sese referans ve düzenleme
Ses-videodan ses-videoya referans ve düzenleme
Tasarımımızda "genelleştirilmiş referans ve düzenleme" şu anlama gelir:
- Tamamen gerçek ve doğal verilerle oluşturulur; bu da ona güçlü bir veri ölçeklenebilirliği kazandırır.
- Referans ve düzenleme ilişkileri, sabit bir görev kümesine hapsedilmek yerine doğal dille ifade edilir; dil (ya da geniş anlamıyla zekâ yapısı) genellemeye giden köprüdür.
3. Mimari
Farklı veri türlerini ve görevleri olabildiğince erken birleştirin — doğru karışım oranı çok önemlidir.
4. Eğitim Stratejisi
Eğitimde farklı veri türlerini ve görevleri olabildiğince erken birleştirin — doğru karışım oranı çok önemlidir
Tüm bu tercihler aynı hedefe işaret ediyor: H3'e ön eğitim aşamasından itibaren geniş çok modlu bağlam anlama ve üretim yetenekleri kazandırmak.
Daha önce eğitim paradigmasındaki değişimden bahsettik; peki video modellerinin uygulama alanı da nasıl değişiyor?
Yaratıcıların basit bir görsel istem girmek yerine niyetlerini doğrudan doğal dille ifade ettiklerini görüyoruz. Çok modlu anlama, talimat takibi ve karmaşık görev yürütme gelişmeye devam ettikçe, video modelleri daha bütüncül yaratıcı niyeti kavrayabilecek, daha karmaşık içerik ihtiyaçlarını karşılayabilecek ve kademeli olarak "klip üretmek"ten içerik üretim sürecinin tamamına gerçek anlamda katılmaya geçecek.
H3'ün Teknik Seçimleri
H3'ün tasarım felsefesi basit — ama onu inşa etmek hiç de öyle değildi. Hailuo-01'den Hailuo-02'ye ve H3'e, her neslin mühendislik karmaşıklığı bir öncekine göre yaklaşık 10 kat arttı.
H3'ün bazı temel teknolojilerine kısa bir bakış:
1. H3-Contextual Omni Representation
H3'ü geliştirirken yaptığımız en önemli şeylerden biri, altyazı oluşturma yeteneğini güçlendirmekti.
- Çok modlu bağlamın devreye girmesi, "altyazı"nın kapsaması gerekenleri daha da genişletti; artık yalnızca hedef videoyu tanımlamıyoruz, aynı zamanda bağlam ile hedef video arasındaki ilişkiyi ve hatta bağlam içindeki öğeler arasındaki ilişkileri de tanımlıyoruz.
- Videoyu ve sesi birlikte tanımlamamız gerekiyor ve bu görsel-işitsel ilişki, birden fazla çekim boyunca daha da karmaşık hale geliyor.
- Bu temel olarak bir Contextual Omni Representation biçimidir; dil, genellenebilir köprü ve yorumlayıcı görevi görerek "görevleri" açık, betimleyici bir biçimde birleştirir. H3'ün geniş talimat takibi yeteneğinin kökü budur.
- Bunu başarmak için özel modeller ve tam modlu bir anlama hattı geliştirdik. Kaynak malzemelerin çoğu yaklaşık 100K tokenlik bir çıkarım gerektiriyor ve bu, ortalama yaklaşık 4K tokena damıtılıyor.
2. H3-VAE: Mimari Verimlilikte Büyük Bir Artış
H serisi, tokenizer teknolojisinde sürekli ilerleme kaydetti. H3 ile önceki tokenizer'ımızı kökten yeniledik; yeniden yapılandırma kalitesi ve öğrenilebilirlikte her alanda kazanımlar elde ederek H3'e verimlilikte rekabet avantajı kazandırdık. Yüksek sıkıştırma oranı ayrıca etkili dizi uzunluğunda 4 kat artış sağlayarak eğitim ve çıkarım maliyetlerini önemli ölçüde düşürüyor ve doğal 2K çözünürlük desteğimizin arkasındaki temel teknoloji de bu.
3. H3-Omni Transformer: Görev Genellemesi İçin Tasarlanmış Bir Mimari
H3'ün "mimari göreve hizmet etmelidir" tasarım felsefesine uygun olarak, iki tek hedefimiz vardı: genellik ve verimlilik. Özellikle, Hailuo-02 mimarisini, bir zamanlar bize sağladığı önemli mimari avantajlara rağmen bir kenara bıraktık; çünkü görev genellemesi etrafında inşa edilmiş bir model için gereksiz karmaşıklık getiriyordu. Görev genellemesinin geri döndürülemez bir eğilim olduğuna ve mimari hilelerin, modelin nasıl tanımlandığına yer açması gerektiğine inanıyoruz.
H3'te çok modlu bağlamın devreye girmesi, dizi uzunluğundaki farklılığı üç katına çıkardı; anlama ve üretime yönelik hesaplama iş yükleri de belirgin şekilde daha heterojen hale geldi. Anlama ve üretim iş yüklerini ayıran ve her biri için donanım kullanımını ince ayarlayan, ayrıca örnek başına heterojen hesaplamayı örnekler arası yük dengelemesiyle birlikte dengeleyen bir eğitim mimarisi benimsedik. Uçtan uca bu, eğitim verimini yaklaşık %30 artırdı.
4. H3-In-context Regeneration
H3'ün 2K çıktısı için, geleneksel, özel bir süper çözünürlük modülü kullanmak yerine H3 taban modelinin, kendi düşük çözünürlüklü çıktısını bağlam içinde yeniden üretmesini sağlıyoruz. Bu iki avantaj sunar: birincisi, yeniden üretim süreci, H3 taban modeline zaten yerleşik olan üretim yeteneğini en üst düzeyde yeniden kullanır; ikincisi, bağlam içi yaklaşım, yüksek çözünürlüklü çıktı üretmek için orijinal çok modlu bağlamdan yeniden yararlanmasını sağlar ve geleneksel süper çözünürlüğün yalnızca "tahmin edebildiği" ve çoğu zaman geri getiremediği küçük metinler ve ince detaylar gibi ayrıntıları kurtarır.
In-Context Regeneration, başlı başına görev genellemesinin bir başka ifadesidir.
Yakında H3 Teknik Raporu'nun tamamını paylaşacağız. Geri bildirimlerinizi almak için sabırsızlanıyoruz.
Vizyonumuz ve Sonraki Adımlar
Dil, görseller, video ve ses; insan deneyiminin temel modlarıdır. Derinden bağlantılıdırlar ve dünyayla kurduğumuz birincil arayüzlerimiz olarak hizmet ederler. Birlikte, geniş bir bilgi yelpazesini verimli bir şekilde iletebilen çok modlu bağlamlar oluştururlar ve bilgiyi ifade edebilme ve paylaşabilme yeteneği, başlı başına bir üretkenlik biçimidir.
Çok modlu anlama ve üretim için dili, genellenebilir, ölçeklenebilir bir hesaplama sistemi olarak görüyoruz. Bu yüzden çok modlu zekânın dile derinden dayanması gerektiğine inanıyoruz.
H3'ün hâlâ büyüme alanı var ve gelecek sürümler için önceliklerimiz şunlar:
- Güçlü çok modlu anlama, yüksek kaliteli üretimin temelidir ve iyileştirme için önemli bir alan var. H serisinin bir sonraki neslinde, M serisi modellerimizin yeteneklerini entegre etmeyi planlıyoruz.
- H3'ün mevcut model boyutu, çeşitli yeteneklerde iyileştirme alanı bırakıyor. Ölçekleme net bir ilerleme yoludur ve daha güçlü görev genellemesinin, potansiyelini tam olarak ortaya çıkarmamızı sağlayacağına inanıyoruz.
- Görsel ayrıntı belirli senaryolarda hâlâ iyileştirilebilir. Daha yüksek çözünürlüklere ve daha yüksek görsel sadakate doğru ilerlemeye devam edeceğiz.
Zekâ Herkesle.
