Hemos hablado con cientos de ejecutivos en los últimos meses y escuchamos una clara cantinela: "La IA aún no está generando ROI, pero estamos comprometidos, así que tenemos que aprender a hacerlo funcionar".
Los ejecutivos saben que no hay marcha atrás. Pero sus programas de IA se están estancando en la etapa piloto en la mayoría de las grandes empresas, debido a una calidad de resultados inconsistente, la imposibilidad de alcanzar la confianza necesaria para asumir tareas reales, la incertidumbre sobre los riesgos de seguridad y los picos en el costo de los tokens. Dicho de otro modo: ¿cuántos líderes empresariales pueden cuantificar realmente la precisión de sus programas de IA?
Todos están llegando a la misma conclusión: si quieres agentes de calidad para producción que realmente puedan hacer el trabajo, todo empieza con las evals.
Satya es el último líder en enfocarse en las evals como propiedad intelectual estratégica. Lo expone de manera elocuente y contundente: "Las empresas deben convertir sus flujos de trabajo, conocimiento del dominio y juicio acumulado en sistemas de IA que mejoren con cada uso. Las evaluaciones privadas deberían capturar si un modelo realmente está mejorando en los resultados que le importan al negocio (¡no solo en benchmarks externos!)" (https://x.com/satyanadella/status/2066182223213293753).
Entonces, ¿qué son las evals? Abreviatura de "evaluaciones", son un marco integral y riguroso para medir y mejorar sistemáticamente un sistema de IA. No estamos hablando de pulgares arriba/abajo ni siquiera de revisión humana de los resultados del agente. Un conjunto sólido de evaluaciones captura los matices del juicio, el tono y el gusto; evalúa el uso de herramientas por parte del agente; desglosa las tareas en dimensiones específicas y puntuables (una "rúbrica"); y normalmente se implementa dentro de un entorno de simulación o aprendizaje por refuerzo, donde los agentes pueden ejecutarse repetidamente y entrenarse para mejorar su rendimiento con el tiempo.
Las mejores empresas tratan las evaluaciones de agentes como una capa central de calidad, confiabilidad y gobernanza; mucho más allá de las pruebas ad hoc o los controles previos al lanzamiento en los que se apoyan la mayoría de los equipos hoy en día.
En los últimos 2 años, 'refundamos' Handshake como una empresa de IA. Hoy somos un proveedor líder de evals tanto para laboratorios de LLM de frontera como para empresas Fortune 500. Nuestro equipo de investigación de Handshake AI está pionero en nuevas investigaciones sobre verificadores, y estamos trabajando con líderes visionarios en las empresas más grandes del mundo para dar forma a su estrategia de IA. Algunos temas se están volviendo claros.
Las evals deben ser una piedra angular de un enfoque integral para generar impacto empresarial a partir de la IA. Aquí están los cinco pilares que estamos viendo, y que ampliaré en publicaciones futuras:
1. Todo comienza con las evals. El rendimiento de la IA está completamente definido por el conjunto de evaluaciones utilizado para medirlo: solo se puede rastrear el rendimiento en la medida en que se haya definido con precisión cómo se ve "bueno". Las organizaciones líderes ahora incorporan evaluaciones en una simulación para mejorar la IA en un entorno controlado antes de su implementación en el mundo real. Los expertos en el dominio seleccionan datos históricos y plantean casos límite deliberados (texto corrupto, instrucciones contradictorias) para poner a prueba el modelo. Luego, la simulación puntúa cada actualización según rúbricas objetivas, ya sea mediante análisis de cadenas de coincidencia exacta, aserciones a nivel de código o criterios de LLM como juez, convirtiendo el desarrollo de IA de un juego de adivinanzas en una disciplina de ingeniería predecible.
2. Cada función necesita una estrategia de IA distinta. Una empresa compleja requiere un enfoque segmentado: dónde construir, comprar, optimizar o entrenar, por unidad de negocio. Una aseguradora mediana probablemente debería comprar un agente de codificación ya preparado y pagar por tokens de frontera, mientras también construye agentes propietarios que codifiquen sus decisiones únicas de suscripción como un activo de propiedad intelectual soberano. En atención al cliente, las soluciones verticales optimizadas para RAG a menudo tienen más sentido, pero aún requieren una configuración real, mantenimiento y evaluaciones continuas. En el mundo de los agentes, la gestión del rendimiento son las evals.
3. No pases por alto la seguridad y la protección. Muchos líderes asumen que su riesgo cibernético está cubierto porque aseguraron la infraestructura y las aplicaciones en la nube durante la era SaaS. La era de la IA agéntica introduce nuevas vulnerabilidades: los cortafuegos estándar no detienen los ataques de inyección rápida ni evitan que los datos propietarios se filtren en los bucles de entrenamiento públicos. Asegurar una empresa mediana significa implementar tuberías de depuración de datos para eliminar identificadores antes de que las consultas salgan de la red, y capas de validación de entrada para neutralizar indicaciones maliciosas antes de que lleguen a tus modelos.
4. El enrutamiento optimizado de modelos es la nueva bandas salariales. No pagarías un salario ejecutivo por entrada de datos, sin embargo, la mayoría de las empresas enrutan tareas simples a modelos frontera costosos. Una capa de enrutamiento que iguale el costo del modelo con la complejidad de la tarea es esencial, pero solo funciona si tienes las evals para saber si un modelo más barato realmente puede cumplir. Hemos visto empresas sobreoptimizar los costos y pagarlo en calidad. Obtienes lo que pagas en los LLM; la disciplina es gastar tokens donde la tarea es genuinamente compleja.
5. El ajuste fino vuelve al manual de la empresa. A escala significativa, la estrategia más rentable a menudo no es la iteración del agente o el enrutamiento por sí solos, sino adaptar modelos de peso abierto más pequeños a tareas específicas. El ajuste fino no debe enseñar nueva información al modelo (para eso está RAG), pero puede estandarizar flujos de trabajo, estilo de comunicación y llamadas a herramientas. El valor real proviene de tratar el modelo resultante como cualquier otro activo de software: pruebas de regresión y bucles de retroalimentación para detectar la deriva. La disciplina y la calidad de los datos importan más que el presupuesto de cómputo.
Este cambio hacia una mentalidad centrada en las evals no es solo infraestructura técnica. Es un cambio en cómo definimos el éxito de la IA: pasar de "veamos qué hace" a "midamos con precisión qué debería hacer, y mejorémoslo hasta que lo haga". Las organizaciones que resuelvan esto ahora convertirán la IA de un centro de costos en un activo duradero y compuesto.
Nuestro trabajo mejorando los modelos de frontera nos ha dado un asiento de primera fila para esta disciplina. Nuestro objetivo compartido con los socios empresariales es cerrar la brecha entre "funciona en el laboratorio" y "hace un trabajo real por un valor tangible".
Si estás trabajando en esta transición, o intentando escalar tus programas de IA más allá del piloto, me encantaría saber cómo estás enmarcando el desafío. Es el problema más importante que estamos resolviendo en 2026.
