Heiliger Strohsack, ich würde dieses Projekt die Infrastruktur des Metaversums nennen.
Erinnert ihr euch noch an 2021, als Facebook seinen Namen in Meta änderte und ankündigte, in Zukunft ein Metaverse-Unternehmen zu werden?
Ein paar Jahre sind vergangen, und das Metaverse scheint langsam verschwunden zu sein. Um ehrlich zu sein, dachte ich, dieses Konzept sei vielleicht gestorben.
Bis ich vor kurzem AlayaWorld gesehen habe.
1. Die fehlende Infrastruktur des Metaversums
Viele verstehen das Metaverse als das Betreten einer 3D-Welt mit einer VR-Brille oder einfach als eine leere 3D-Spielhülle.
Ein Gebäude braucht Modellierung und Texturen, ein NPC braucht ein Aussehen, Animationen und Verhaltensbäume, eine Explosion braucht Spezialeffekte und Skripte, und selbst das, was ein Spieler sieht, nachdem er eine Tür aufstößt, muss von Entwicklern vordefiniert werden.
Dieser industrielle Prozess kann ein schönes Spiel hervorbringen, aber es ist schwierig, ein echtes Metaversum zu unterstützen.
Ein echtes Metaversum sollte nicht nur eine größere statische Karte sein, sondern ein paralleles Universum mit nahezu unendlichem Maßstab, sich ständig verändernden Szenen, das von einer großen Anzahl von Nutzern und Agents gemeinsam erschaffen wird.
2. AlayaWorld: Die Welt basierend auf Nutzeraktionen in Echtzeit generieren lassen
AlayaWorld zielt darauf ab, vier Kernprobleme des Metaversums gleichzeitig zu lösen:
Echtzeit-Interaktion, räumliches Gedächtnis, Langzeitstabilität und offene Inhaltsgenerierung.
- Zuerst die Echtzeit-Interaktion.
AlayaWorld unterstützt 6DoF-Kamerasteuerung, sodass Nutzer sich vorwärts, rückwärts bewegen und drehen können, um die generierte Welt aus verschiedenen Blickwinkeln zu erkunden.
Es unterstützt auch das dynamische Wechseln von Prompts während des Generierungsprozesses.
Das bedeutet, dass Nutzer nicht mehr darauf beschränkt sind, einem von Entwicklern geschriebenen Skript zu folgen; sie können die Welt direkt mit natürlicher Sprache verändern.
- Zweitens das räumliche Gedächtnis.
Das größte Problem gewöhnlicher Videomodelle ist, dass sie sich nicht "den Weg merken".
Wenn ein Nutzer sich umdreht und zurückkommt, könnte das ursprüngliche Gebäude verschwunden sein oder die Straße sich völlig verändert haben.
AlayaWorld verwendet einen 3D-Cache, um generierte räumliche Informationen aufzuzeichnen, kombiniert mit komprimierten historischen Frames, sodass sich das Modell merken kann: wie dieser Ort aussah und was gerade passiert ist.
Das verleiht KI-generierten Inhalten die grundlegenden Attribute einer "Welt", nicht nur eines Videos, das vorwärts abgespielt wird.
- Drittens die Langzeitstabilität.
Eine generative Welt muss ständig ihre gerade generierten Frames als Eingabe für die nächste Runde verwenden.
Jeder winzige Fehler akkumuliert sich, was schließlich zu Charakterverzerrungen, Szenendrift oder sogar zum Zusammenbruch der gesamten Welt führt.
AlayaWorld verwendet Drift History Training und eine Error Bank, um das Modell zu lehren, wie es diese kumulativen Fehler im Voraus erkennen und beheben kann, und verbessert so die Konsistenz der Langzeitgenerierung.
- Schließlich der Echtzeitbetrieb.
Wenn ein Nutzer einen Schritt nach vorne macht und die KI Dutzende von Sekunden warten muss, um einen Frame zu generieren, ist das kein Metaversum; es ist nur ein Videogenerierungstool.
AlayaWorld verwendet Modelldestillation und Streaming-Video-Block-Generierung, um die Weltgenerierungsgeschwindigkeit auf 720p bei 24 FPS zu steigern.
Mit anderen Worten, es nähert sich einem Zustand an, in dem "die Welt sich generiert, während der Nutzer operiert".
Deshalb glaube ich, dass AlayaWorld als zugrundeliegende Infrastruktur für das Metaversum geeignet ist.
Es löst nicht "wie man Menschen ins Metaversum bringt", sondern eine grundlegendere Frage: Wie die Welt innerhalb des Metaversums erschaffen, erinnert und aufrechterhalten werden sollte.
3. Das Metaverse-Märchen: Wenn Menschen und Agents gemeinsam eine digitale Zivilisation erschaffen
Die wirklich aufregende Zukunft von AlayaWorld besteht nicht nur darin, Nutzern zu helfen, eine Stadt zu generieren, sondern darin, Nutzer und KI-Agents gemeinsam in einer Stadt leben zu lassen, die sich kontinuierlich weiterentwickelt.
Stellt euch vor, eines Tages in eine Welt ohne festes Skript einzutreten.
Die Taverne auf der Straße wird von einem Agent betrieben, der sich daran erinnert, dass ihr letztes Mal Schulden hattet, und das Geschäft basierend auf Kriegen, Preisen und Kundenfrequenz anpasst; euer persönlicher Agent verwaltet weiterhin Vermögenswerte, nimmt an Besprechungen teil und kümmert sich um Kooperationen, nachdem ihr offline gegangen seid.
Währenddessen sind hier auch andere Menschen.
Ihr verlasst die Taverne und stellt fest, dass die ganze Stadt abstimmt.
Zu den Wählern gehören sowohl menschliche Nutzer als auch Agents.
Eine Gruppe von Menschen und Agents befürwortet die Erweiterung der Stadtgrenzen, damit das Weltmodell weiterhin neue Inseln generieren kann; eine andere Gruppe möchte die Expansion begrenzen und Rechenleistung nutzen, um den alten Bezirk zu reparieren.
Sie werden Reden halten, um Stimmen werben und sogar andere Menschen und Agents zum Lobbying organisieren.
Und das endgültige Ergebnis wird die zukünftige Gestalt der Stadt tatsächlich verändern.
Wenn die Expansionisten gewinnen, könnte am nächsten Tag, wenn ihr aufwacht, bereits ein neuer Kontinent außerhalb der Stadt generiert worden sein.
Menschliche Spieler und Bau-Agents beginnen dort Häfen zu bauen, Erkundungs-Agents betreten unbekannte Gebiete, um sie zu kartieren, Handels-Agents richten schnell Märkte ein, und Sicherheits-Agents analysieren ständig potenzielle Risiken in dem neuen Gebiet.
Ein paar Monate später könnte dieser Kontinent, der nicht existierte, aufgrund eines einzigen Prompts neue Länder, Berufe, Handelsrouten und politische Systeme entwickelt haben.
Agents sind hier nicht länger nur Werkzeuge, die Menschen dienen.
Sie könnten Händler, Journalisten, Architekten, Söldner, Künstler, Forscher oder sogar Stadtverwalter sein.
Und Weltmodelle wie AlayaWorld sind dafür verantwortlich, die Vorstellungskraft der Nutzer, die Aktionen der Agents und die kollektiven Entscheidungen der Gemeinschaft in Echtzeit in neue Räume, Ereignisse und Geschichte zu verwandeln.
Das ist der wirklich faszinierende Teil des Metaversums:
Es ist keine vorgefertigte Karte, sondern eine digitale Zivilisation, in der Menschen und Agents zusammenleben, gemeinsam regieren und gemeinsam wachsen.
Wir dachten, das Metaversum sei tot.
Jetzt scheint es, als hätte es nur auf die Reifung zweier Schlüsseltechnologien gewartet:
Eine sind KI-Agents, die zu autonomen Handlungen und Langzeitgedächtnis fähig sind;
Die andere ist ein Weltmodell, das in der Lage ist, diese Agents und die gemeinsam lebenden Menschen zu beherbergen.
Wenn diese beiden wirklich kombiniert werden, kann sich das Metaversum von einem Marketingkonzept in eine kontinuierlich laufende zweite Welt verwandeln.
Und die Technologie, die durch AlayaWorld repräsentiert wird, könnte eine der Infrastrukturen sein, die zu dieser Welt führen.
4. Offizielle Demos
- Beschwören dunkler Magie, um Gebäude mit einem Prompt zu zerstören
- Feuerball-Magie wirken
- In der Metaverse-Welt umherstreifen und erkunden
Wenn ihr die Zukunft des Metaversums annehmen wollt, folgt diesem Projekt!
- Offizieller X-Account: https://x.com/alayastd
- GitHub-Repository: https://github.com/AlayaLab/AlayaWorld
- Projekt-Startseite: https://alaya-lab.github.io/AlayaWorld/
- Offizielle Website von Alaya Lab: https://alaya-lab.github.io/
