TuringViT : construire l'encodeur de vision pour l'IA physique

Ravi de partager un autre élément fondateur de notre travail sur l'IA Physique — TuringViT.

Dans mes précédents articles, j'ai parlé des modèles du monde : comment ils permettent à l'IA Physique de prédire l'avenir, de raisonner sur les conséquences et de planifier avant d'agir. Mais toute prédiction et tout raisonnement reposent d'abord sur la perception.

Tout commence par une question fondamentale : Comment le modèle voit-il réellement le monde physique ?

Le postulat de mes précédents articles reste valable : l'IA Physique ne peut pas être mise à l'échelle par un seul modèle révolutionnaire. Elle progresse à mesure que nous améliorons chaque composant du pipeline de compréhension du monde physique.

Les modèles du monde sont un pilier essentiel de la mise à l'échelle. Les encodeurs visuels sont tout aussi fondamentaux.

Les encodeurs visuels actuels ont été largement conçus pour les VLM à l'échelle d'Internet. Ils fonctionnent remarquablement bien pour les tâches de contenu numérique, mais l'IA Physique exige quelque chose de différent. La mobilité intelligente, la robotique et le déploiement en périphérie apportent tous des entrées haute résolution, plusieurs caméras, de longs flux vidéo, des résolutions dynamiques et des contraintes de latence strictes.

La solution courante est de réutiliser les ViT existants. Mais cela implique trois compromis bien connus pour l'IA Physique :

1. L'auto-attention quadratique devient prohibitivement coûteuse à mesure que la résolution d'entrée augmente
2. La mise à l'échelle des données web brutes atteint rapidement des rendements décroissants sur la qualité des représentations
3. Le pré-entraînement à résolution fixe n'est pas aligné avec la façon dont les VLM et VLA en aval fonctionnent réellement

Notre objectif n'était pas de construire une variante ViT incrémentale de plus. Nous avons entrepris de repenser l'ensemble de la conception et du pipeline d'entraînement d'un encodeur visuel, spécifiquement conçu pour l'IA Physique.

Trois idées fondamentales ont façonné notre conception de bout en bout, couvrant l'architecture, les données et l'entraînement.

Premièrement, l'efficacité doit évoluer avec la résolution. Nous avons construit l'Attention Linéaire Turing (TLA) comme épine dorsale de calcul principale, avec une structure hybride : 5 couches de TLA pour une mise à l'échelle quasi-linéaire des calculs, associées à 1 couche d'attention multi-têtes standard par bloc pour préserver les détails globaux fins requis par les tâches d'IA Physique. Le résultat est une croissance de latence quasi plate à mesure que la résolution d'entrée augmente.

Deuxièmement, une meilleure supervision plutôt que davantage de supervision. Plutôt que de simplement mettre à l'échelle les ensembles de données, nous avons construit VISTA-Curation pour améliorer la qualité de la supervision. Le résultat est notable : TuringViT atteint des performances compétitives en utilisant seulement environ 10% des données des ViT open-source leaders. Pour nous, c'est un signal fort que la qualité des données a encore une grande marge de progression.

Troisièmement, entraîner comme le déploiement se présente réellement. Au lieu de pré-entraîner à des résolutions fixes et de s'adapter ensuite, TuringViT apprend des résolutions dynamiques natives dès le premier jour, rapprochant ainsi le pré-entraînement de la manière dont les systèmes VLM et VLA en aval sont réellement déployés.

Plus important encore, ces principes de conception ne se limitent pas à la conduite autonome. Le même encodeur visuel prend désormais en charge la mobilité intelligente, l'interaction multimodale dans l'habitacle et la robotique humanoïde. Des facteurs de forme différents, des cas d'utilisation différents, mais le problème fondamental de percevoir et comprendre le monde physique reste le même.

Pour plus d'informations :

https://turingvit.github.io/