Nous avons parlé à des centaines de cadres dirigeants ces derniers mois, et nous entendons un refrain clair : « L'IA ne génère pas encore de ROI, mais nous sommes tous dedans, donc nous devons trouver une solution. »
Les dirigeants savent qu'il n'y a pas de retour en arrière. Mais leurs programmes d'IA stagnent au stade pilote dans la plupart des grandes entreprises, en raison d'une qualité de sortie incohérente, d'une incapacité à atteindre la confiance nécessaire pour entreprendre un vrai travail, de l'incertitude concernant les risques de sécurité et de la flambée des coûts des tokens. Autrement dit : combien de leaders d'entreprise peuvent réellement quantifier la précision de leurs programmes d'IA ?
Tout le monde arrive à la même conclusion : si vous voulez des agents de qualité production qui peuvent réellement faire le travail, cela commence par les evals.
Satya est le dernier leader à se concentrer sur les evals en tant que PI stratégique. Il plaide sa cause avec éloquence et force : « Les entreprises doivent transformer leurs flux de travail, leurs connaissances métier et leur jugement accumulé en systèmes d'IA qui s'améliorent à chaque utilisation. Les evals privées doivent capturer si un modèle s'améliore réellement par rapport aux résultats qui comptent pour l'entreprise (pas seulement les benchmarks externes !) » (https://x.com/satyanadella/status/2066182223213293753).
Alors, qu'est-ce que les evals ? Abréviation de « évaluations », il s'agit d'un cadre complet et rigoureux pour mesurer et améliorer systématiquement un système d'IA. Nous ne parlons pas de pouce vers le haut/bas ou même de révision humaine des sorties des agents. Une suite d'évaluation solide capture les nuances de jugement, de ton et de goût ; évalue l'utilisation agentique des outils ; décompose les tâches en dimensions spécifiques et notables (une « rubrique ») ; et est généralement déployée dans un environnement de simulation ou d'apprentissage par renforcement, où les agents peuvent être exécutés à plusieurs reprises et entraînés à améliorer leurs performances au fil du temps.
Les meilleures entreprises considèrent les evals agentiques comme une couche fondamentale de qualité, de fiabilité et de gouvernance ; bien au-delà des tests ad hoc ou des contrôles pré-lancement sur lesquels la plupart des équipes comptent aujourd'hui.
Au cours des deux dernières années, nous avons « refondé » Handshake en tant qu'entreprise d'IA. Aujourd'hui, nous sommes un fournisseur de premier plan d'evals pour les laboratoires de LLM de pointe et les entreprises du Fortune 500. Notre équipe de recherche Handshake AI est pionnière dans de nouvelles recherches sur les vérificateurs, et nous travaillons avec des leaders visionnaires des plus grandes entreprises du monde pour façonner leur stratégie IA. Quelques thèmes deviennent clairs.
Les evals doivent être une pierre angulaire d'une approche globale pour générer un impact commercial à partir de l'IA. Voici les cinq piliers que nous observons, que je développerai dans de futurs articles :
1. Tout commence par les evals. La performance de l'IA est entièrement définie par la suite d'évaluation utilisée pour la mesurer : vous ne pouvez suivre la performance que dans la mesure où vous avez défini avec précision ce à quoi ressemble le « bon ». Les organisations leaders intègrent désormais les évaluations dans une simulation pour améliorer l'IA dans un environnement contrôlé avant le déploiement dans le monde réel. Les experts métier organisent les données historiques et plantent des cas limites délibérés (texte corrompu, instructions contradictoires) pour tester le modèle sous pression. La simulation note ensuite chaque mise à jour selon des rubriques objectives, que ce soit l'analyse exacte de chaînes de caractères, les assertions au niveau du code, ou les critères LLM-en-tant-que-juge, transformant le développement de l'IA d'un jeu de devinettes en une discipline d'ingénierie prévisible.
2. Chaque fonction a besoin d'une stratégie IA distincte. Une entreprise complexe nécessite une approche segmentée : où construire, acheter, optimiser ou former, par unité commerciale. Un assureur de taille moyenne devrait probablement acheter un agent de codage prêt à l'emploi et payer pour des tokens de pointe, tout en construisant des agents propriétaires qui encodent ses décisions de souscription uniques en tant qu'actif de PI souverain. Dans le service client, les solutions verticales optimisées pour le RAG sont souvent plus sensées, mais elles nécessitent encore une vraie configuration, maintenance et des evals continues. Dans le monde des agents, la gestion de la performance, ce sont les evals.
3. Ne négligez pas la sécurité et la sûreté. De nombreux dirigeants pensent que leur risque cyber est géré parce qu'ils ont sécurisé l'infrastructure cloud et les applications à l'ère du SaaS. L'ère de l'IA agentique introduit de nouvelles vulnérabilités : les pare-feu standard n'arrêtent pas les attaques par injection de prompt ni n'empêchent les données propriétaires de fuir dans les boucles d'apprentissage publiques. Sécuriser une entreprise de taille moyenne signifie déployer des pipelines de nettoyage des données pour supprimer les identifiants avant que les requêtes ne quittent le réseau, et des couches de validation d'entrée pour neutraliser les prompts malveillants avant qu'ils n'atteignent vos modèles.
4. Le routage optimisé des modèles est la nouvelle grille salariale. Vous ne paieriez pas un salaire de cadre pour de la saisie de données, et pourtant la plupart des entreprises routent des tâches simples vers des modèles de pointe coûteux. Une couche de routage qui fait correspondre le coût du modèle à la complexité de la tâche est essentielle, mais cela ne fonctionne que si vous avez les evals pour savoir si un modèle moins cher peut réellement délivrer. Nous avons vu des entreprises sur-optimiser les coûts et le payer en qualité. Vous en avez pour votre argent avec les LLM ; la discipline consiste à dépenser des tokens là où la tâche est vraiment complexe.
5. Le fine-tuning est de retour dans le manuel de l'entreprise. À une échelle significative, la stratégie la plus rentable n'est souvent pas l'itération d'agent ou le routage seuls, mais l'adaptation de modèles plus petits à poids ouverts à des tâches spécifiques. Le fine-tuning ne devrait pas enseigner de nouvelles informations au modèle (c'est à cela que sert le RAG), mais il peut standardiser les flux de travail, le style de communication et l'appel aux outils. La vraie valeur vient du traitement du modèle résultant comme tout actif logiciel : des tests de régression et des boucles de rétroaction pour détecter la dérive. La discipline et la qualité des données comptent plus que le budget de calcul.
Ce passage à une mentalité « eval d'abord » n'est pas qu'une simple tuyauterie technique. C'est un changement dans la façon dont nous définissons le succès de l'IA : passer de « voyons ce qu'elle fait » à « mesurons précisément ce qu'elle devrait faire, et améliorons-la jusqu'à ce qu'elle le fasse ». Les organisations qui comprennent cela maintenant transformeront l'IA d'un centre de coût en un actif durable qui s'apprécie.
Notre travail d'amélioration des modèles de pointe nous a donné un siège au premier rang pour cette discipline. Notre objectif commun avec les partenaires d'entreprise est de combler l'écart entre « ça marche dans le laboratoire » et « ça fait un vrai travail pour une valeur tangible ».
Si vous traversez cette transition, ou essayez de faire passer vos programmes d'IA au-delà du pilote, j'aimerais savoir comment vous formulez le défi. C'est le problème le plus important que nous résolvons en 2026.
