와, 이 프로젝트는 진정한 메타버스의 인프라라고 할 수 있겠네요.
2021년, 페이스북이 메타로 사명을 바꾸고 미래의 메타버스 기업이 되겠다고 발표했던 때를 기억하시나요?
몇 년이 지나고, 메타버스는 점차 사라진 듯 보입니다. 솔직히 말해, 저는 이 개념이 이미 죽었다고 생각했었습니다.
하지만 최근에 AlayaWorld를 보고 생각이 완전히 바뀌었습니다.
1. 메타버스의 부재했던 인프라
많은 사람들은 메타버스를 VR 기기를 쓰고 3D 세계로 들어가는 것, 또는 단순한 3D 게임 껍데기로 이해합니다.
건물 하나에는 모델링과 텍스처가 필요하고, NPC 하나에는 외형 디자인, 애니메이션, 행동 트리가 필요하며, 폭발 효과에는 특수 효과와 스크립트가 필요합니다. 플레이어가 문을 열었을 때 무엇을 보게 될지조차도 개발자가 미리 정의해야 합니다.
이러한 산업 공정은 아름다운 게임을 만들 수 있지만, 진정한 메타버스를 지원하기는 어렵습니다.
진정한 메타버스는 단순히 더 큰 고정 맵이 아니라, 무한에 가까운 규모로 끊임없이 변화하는 장면을 가지며, 수많은 사용자와 에이전트가 함께 창조하는 평행 우주여야 합니다.
2. AlayaWorld: 사용자의 행동에 따라 실시간으로 세계를 생성하다
AlayaWorld는 메타버스의 네 가지 핵심 문제를 동시에 해결하는 것을 목표로 합니다.
실시간 상호작용, 공간 기억, 장기 안정성, 그리고 개방형 콘텐츠 생성입니다.
- 첫 번째는 실시간 상호작용입니다.
AlayaWorld는 6DoF 카메라 제어를 지원하여 사용자가 앞뒤로 움직이고 방향을 전환하며 생성된 세계를 다양한 각도에서 탐험할 수 있게 합니다.
또한 생성 과정 중에 프롬프트를 동적으로 전환하는 것도 지원합니다.
이는 사용자가 더 이상 개발자가 작성한 스크립트를 따라야 하는 제약에서 벗어나, 자연어를 사용하여 세계를 직접 변경할 수 있음을 의미합니다.
- 두 번째는 공간 기억입니다.
일반 비디오 모델의 가장 큰 문제는 '길을 기억하지 못한다'는 점입니다.
사용자가 돌아서 갔다가 다시 오면 원래 있던 건물이 사라지거나 길이 완전히 바뀌어 있을 수 있습니다.
AlayaWorld는 3D 캐시를 사용하여 생성된 공간 정보를 기록하고, 압축된 과거 프레임과 결합하여 모델이 '이 장소가 어떻게 생겼는지, 방금 무슨 일이 일어났는지'를 기억할 수 있게 합니다.
이로 인해 AI 생성 콘텐츠는 단순히 앞으로 재생되는 비디오가 아닌, '세계'의 기본 속성을 가지게 됩니다.
- 세 번째는 장기 안정성입니다.
생성적 세계는 방금 생성된 프레임을 다음 라운드의 입력으로 지속적으로 사용해야 합니다.
아주 작은 오류라도 누적되어 결국 캐릭터 왜곡, 장면 표류, 또는 세계 전체의 붕괴로 이어질 수 있습니다.
AlayaWorld는 드리프트 히스토리 트레이닝과 오류 뱅크를 사용하여 모델이 이러한 누적 오류를 사전에 식별하고 수정하는 방법을 학습하게 하여 장기 생성의 일관성을 향상시킵니다.
- 마지막으로, 실시간 작동입니다.
사용자가 한 걸음 앞으로 나갔는데 AI가 프레임 하나를 생성하는 데 수십 초를 기다려야 한다면, 그것은 메타버스가 아니라 그저 비디오 생성 도구일 뿐입니다.
AlayaWorld는 모델 증류와 스트리밍 비디오 블록 생성을 사용하여 세계 생성 속도를 720p, 24FPS로 끌어올렸습니다.
즉, '사용자가 조작함에 따라 세계가 생성되는' 상태에 근접하고 있는 것입니다.
이것이 제가 AlayaWorld가 메타버스의 기반 인프라에 적합하다고 생각하는 이유입니다.
이는 '사람들을 메타버스에 어떻게 들여보낼 것인가'가 아니라, 더 근본적인 질문인 '메타버스 내의 세계를 어떻게 창조하고, 기억하고, 지속할 것인가'를 해결합니다.
3. 메타버스 동화: 인간과 에이전트가 함께 창조하는 디지털 문명
AlayaWorld의 진정으로 흥미로운 미래는 단순히 사용자가 도시를 생성하는 것을 돕는 것이 아니라, 사용자와 AI 에이전트가 함께 진화하는 도시에서 살아가는 것입니다.
어느 날, 고정된 스크립트가 없는 세계에 들어간다고 상상해보세요.
길가의 선술집은 지난번에 당신이 빚을 졌던 것을 기억하고, 전쟁, 물가, 유동 인구에 따라 사업을 조정하는 에이전트가 운영합니다. 당신의 개인 에이전트는 당신이 오프라인 상태가 된 후에도 자산을 관리하고, 회의에 참석하며, 협업을 처리합니다.
그리고 이곳에는 다른 인간들도 있습니다.
선술집에서 나와 보니 도시 전체가 투표를 하고 있습니다.
투표자에는 인간 사용자와 에이전트가 모두 포함됩니다.
한 그룹의 인간과 에이전트는 도시 경계를 확장하여 세계 모델이 계속해서 새로운 섬을 생성하도록 하는 것을 주장합니다. 다른 그룹은 확장을 제한하고 연산 능력을 사용하여 구시가지를 수리하자고 합니다.
그들은 연설을 하고, 표를 얻기 위해 캠페인을 벌이며, 심지어 다른 인간과 에이전트를 조직하여 로비를 하기도 합니다.
그리고 최종 결과는 도시의 미래 형태를 실제로 바꿀 것입니다.
확장론자들이 승리한다면, 다음 날 당신이 깨어났을 때 도시 외곽에 새로운 대륙이 이미 생성되어 있을지도 모릅니다.
인간 플레이어와 건설 에이전트는 그곳에 항구를 짓기 시작하고, 탐험 에이전트는 미지의 지역에 들어가 지도를 만들며, 무역 에이전트는 신속하게 시장을 설립하고, 보안 에이전트는 새로운 지역의 잠재적 위험을 지속적으로 분석합니다.
몇 달 후, 이전에는 존재하지 않았던 이 대륙은 단 하나의 프롬프트로 인해 새로운 국가, 직업, 무역로, 정치 체제를 발전시킬 수도 있습니다.
여기서 에이전트는 더 이상 인간을 섬기는 도구에 불과하지 않습니다.
그들은 상인, 저널리스트, 건축가, 용병, 예술가, 연구원, 심지어 도시 관리자가 될 수 있습니다.
그리고 AlayaWorld와 같은 세계 모델은 사용자의 상상력, 에이전트의 행동, 그리고 커뮤니티의 집단적 결정을 실시간으로 새로운 공간, 사건, 역사로 전환하는 역할을 담당합니다.
이것이 메타버스의 진정으로 매력적인 부분입니다.
미리 만들어진 지도가 아니라, 인간과 에이전트가 함께 살고, 함께 통치하며, 함께 성장하는 디지털 문명인 것입니다.
우리는 한때 메타버스가 죽었다고 생각했습니다.
하지만 이제 보니, 그것은 단지 두 가지 핵심 기술이 성숙해지기를 기다리고 있었던 것 같습니다.
하나는 자율적인 행동과 장기 기억이 가능한 AI 에이전트이고,
다른 하나는 이러한 에이전트와 인간이 함께 살아갈 수 있도록 호스팅할 수 있는 세계 모델입니다.
이 둘이 진정으로 결합될 때, 메타버스는 마케팅 개념에서 지속적으로 운영되는 두 번째 세계로 변모할 수 있습니다.
그리고 AlayaWorld가 대표하는 기술은 그 세계로 이끄는 인프라 중 하나가 될 수 있습니다.
4. 공식 데모
- 프롬프트 하나로 어둠의 마법을 소환하여 건물을 파괴
- 파이어볼 마법 시전
- 메타버스 세계에서 탐험
메타버스의 미래를 받아들이고 싶다면, 이 프로젝트를 팔로우하세요!
- 공식 X 계정: https://x.com/alayastd
- GitHub 리포지토리: https://github.com/AlayaLab/AlayaWorld
- 프로젝트 홈페이지: https://alaya-lab.github.io/AlayaWorld/
- Alaya Lab 공식 웹사이트: https://alaya-lab.github.io/
