Hay una razón por la que algunas personas parecen estar constantemente lanzando el mejor software, escribiendo contenido increíble o generando imágenes alucinantes...
Adoptaron el bucle de evaluación (eval loop), mientras que tú...
Has probado mejores prompts, te has cambiado al modelo más caro, has escrito instrucciones más largas, has activado la memoria, has creado archivos de contexto del tamaño de una novela, y la basura (slop) sigue apareciendo...
Aparece porque sigues arreglando la capa que nunca estuvo rota.
La basura no es un problema de prompts, es un problema de sistemas, de la misma forma que una fábrica que envía unidades defectuosas no tiene un problema de trabajadores, tiene un problema de control de calidad: nadie revisa la producción antes de que salga del edificio.
Así que esta es la construcción. Al final de esta lectura, tendrás un bucle de evaluación funcional corriendo dentro de Hermes, el agente de código abierto, calificando cada salida según tu estándar antes de que se publique, vigilando tu salida en vivo después de que se publique, y convirtiendo cada fallo en una nueva prueba para que el piso de calidad suba solo.
Lo construimos juntos, pieza por pieza, y la recompensa es concreta: una salida limpia en la que puedas confiar sin tener que releerla a medianoche, un número de calidad que realmente puedas ver, y basura que se atrapa al salir por la puerta en lugar de ser vista por tu audiencia.
Esto es lo que obtendrás:
- La verdadera razón por la que los mejores prompts, modelos más grandes y la memoria nunca eliminan la basura para siempre, y la única capa que realmente lo hace.
- Los dos lugares donde se esconde la basura en tu trabajo: tu producción de contenido y tu producción de producto, y por qué la solución es idéntica para ambos.
- Qué es un bucle de evaluación en español sencillo, la capa de calidad que muy pocas personas ejecutan a diario, y la razón por la que nadie te dijo que construyeras uno.
- Un punto de referencia de calidad que puedes implementar esta semana, tanto para contenido como para producto, exactamente qué medir y cómo se ve "bueno" como un número que puedes leer en una pantalla.
- La construcción exacta, paso a paso, para conectar todo ese bucle dentro de Hermes usando las piezas que ya te da: habilidades, memoria, cron, y botones de aprobación, para que la compuerta funcione sin ti.
Si viniste aquí buscando "los 5 prompts que arreglan la basura de la IA", esta no es esa pieza. Esas existen y no funcionan. Esta es la versión que sí funciona.
Has probado todo excepto la única cosa
Un breve repaso de lo que ya has hecho:
Reescribiste el prompt, tres veces, cuatro veces. Agregaste ejemplos, agregaste una personalidad, agregaste una lista de "no hacer" kilométrica.
Actualizaste al modelo de frontera, pagaste 5 veces más por token, y la salida se volvió más segura sin volverse menos genérica.
Activaste la memoria, construiste un archivo de contexto, le diste tu voz de marca, tu trabajo anterior, tu guía de estilo.
Y cada una de esas acciones te compró algunas buenas generaciones, y luego la basura volvió a colarse.
Cada una de esas es una solución del lado de la entrada. Sigues afilando la cosa que genera mientras ignoras la cosa que debería estar atrapando. Un arma mejor disparada a la oscuridad sigue sin dar en nada.
La basura es un problema del lado de la salida. No es que el modelo no pueda producir buen trabajo, es que no tienes forma de distinguir el buen trabajo del mal trabajo antes de que llegue a alguien importante.
No hay un bucle de evaluación, no hay un punto de referencia de calidad, no hay un marcador. Así que estás afinando a ciegas. Cambias un prompt y sientes que mejoró, pero sentir no es medir, y un sentimiento no atrapa la mala ejecución que se esconde en las siguientes 50 generaciones.
Así que te culpas a ti mismo, o a tu prompt, o a la configuración de tu agente, o a tu ingeniería de contexto, cuando la pieza faltante es una capa entera de trabajar con IA que nunca te mostraron, y al final de esta pieza, esa capa va a estar corriendo en tu propia máquina dentro de Hermes.
Por qué los mejores prompts no pueden arreglar esto (y por qué todos siguen intentándolo de todas formas)
Un prompt es una hipótesis. La salida es el resultado. Y una evaluación es lo único que cierra el ciclo entre ellas.
Sin ese ciclo, estás adivinando para siempre. Ajustas la hipótesis, evalúas un resultado con la vista, declaras victoria, y nunca te enteras de que el mismo prompt produce basura el 30% de las veces porque solo miraste la única salida que tenías enfrente.
El modelo no es determinista. El mismo prompt ejecutado dos veces da dos respuestas diferentes, lo que significa que incluso un prompt perfecto produce basura en algún porcentaje de ejecuciones, y no tienes idea de qué ejecuciones hasta que un cliente o un usuario está mirando una.
Así que un prompt perfecto no es una garantía de calidad, es una tirada de moneda ligeramente mejor, y estás enviando cada tirada.
La razón por la que todo el mundo sigue recurriendo a los prompts es simple: el prompt es la única palanca que realmente puedes ver. Puedes editarlo, y editarlo se siente como control.
La medición es invisible. Nadie te vende un curso sobre ella, nadie publica un hilo viral titulado "el conjunto de evaluaciones que multiplicó por 10 mi producción". Así que toda la conversación se queda atascada en la única palanca que no puede resolver el problema por sí sola.
Las personas cuya producción de IA es consistentemente limpia no son mejores que tú en hacer prompts. Simplemente tienen una segunda palanca que tú no tienes: miden cada salida contra un estándar antes de que se publique, y la medición es lo que hace que sus prompts parezcan magia.
Los dos lugares donde vive la basura
La basura se esconde exactamente en dos lugares, y casi todo el mundo solo está mirando uno de ellos.
Lugar 1: tu producción de contenido
Los tweets, los artículos, los correos electrónicos, las páginas de aterrizaje, las publicaciones. Cualquier cosa que generes con IA y publiques bajo tu nombre.
La basura aquí se ve como un trabajo técnicamente correcto y completamente hueco. Suena como todas las demás cuentas de IA en la cronología: correcto por fuera, vacío por dentro.
Muere en público y no puedes articular por qué, porque cada pieza individual se veía bien cuando presionaste enviar.
Lugar 2: tu producción de producto
La función de IA que lanzaste, el agente, el chatbot, el respondedor de soporte, el pipeline de extracción. La cosa que tus usuarios realmente tocan.
La basura aquí se ve como una respuesta incorrecta entregada con total confianza, un número alucinado, un payload JSON roto, un tono que no corresponde a la marca, una salida que era genial en la demo y se degradó silenciosamente tres despliegues después.
No muere en público, escala en silencio. Cada usuario recibe una experiencia ligeramente peor, y la mayoría nunca te lo dice. Simplemente se van.
Estas son la misma enfermedad con la misma cura.
La basura de contenido y la basura de producto son ambas salidas de IA no medidas que van directamente a una audiencia sin ninguna compuerta de por medio.
La única diferencia son las apuestas y la visibilidad. La basura de contenido te avergüenza ruidosamente, la basura de producto te sangra silenciosamente, y el bucle que construimos en Hermes califica ambas con la misma habilidad, para que ejecutes un sistema de calidad en todo lo que generas en lugar de dos.
Qué es realmente un bucle de evaluación
Un bucle de evaluación es una prueba repetible que califica tu salida de IA contra un estándar, automáticamente, cada vez, antes de que se publique y después de que se publique.
Eso es todo. Esa es la idea completa. Y es la capa que casi nadie que construye con IA tiene.
Generar la salida
Calificarla contra un punto de referencia que definiste
Detectar las ejecuciones que caen por debajo de la línea
Arreglar lo que está fallando
Volver a calificar, y dejar pasar solo la salida que aprueba
Los ingenieros de software han tenido esto para siempre: se llama pruebas. Nunca enviarías código sin pruebas y solo esperar que funcione en producción, pero eso es exactamente como toda la industria envía la salida de IA en este momento: directamente del modelo al usuario, basado en una corazonada y una oración.
La razón por la que casi nadie tiene un bucle de evaluación es demográfica. Las personas que construyen con IA hoy provienen de contenido, ventas, producto, fundación, no de ingeniería. Por lo tanto, "escribe pruebas para tu salida" nunca estuvo en el conjunto de herramientas. Las evaluaciones se leen como infraestructura para ingenieros "de verdad", y las personas que más las necesitan asumen que no tienen permiso para querer una.
Piénsalo como pruebas unitarias para lo no determinista. No estás probando si el código se ejecuta, estás probando si la salida es buena, y lo estás probando en suficientes casos para que una mala ejecución no pueda esconderse.
Un bucle de evaluación se ejecuta en tres lugares, y la construcción que viene los pondrá en los tres:
- Antes de publicar: ejecuta tu nuevo prompt o modelo contra un conjunto guardado de casos y confirma que no empeoró. Esto es prueba de regresión. Es cómo detienes un cambio que arregla una cosa y rompe silenciosamente otras tres.
- En tiempo de ejecución: califica la salida a medida que se genera y deja que la lógica condicional atrape los fallos antes de que lleguen al usuario. Esta es la barrera de protección.
- En producción: califica una muestra de ejecuciones reales de forma continua para que puedas ver la calidad degradándose el día que comienza, no la semana que un cliente se queja.
Puedes implementar el primero en una hoja de cálculo, pero ejecutar los tres de forma continua sin que se convierta en un segundo trabajo es la razón completa por la que estamos poniendo esto dentro de un agente.
En el momento en que la calidad se convierte en un número, la basura deja de ser un sentimiento que sigues teniendo y se convierte en un error que puedes arreglar. No puedes depurar una corazonada, pero sí puedes depurar una puntuación que bajó de 0.82 a 0.61.
El punto de referencia: las tres partes que estás a punto de construir
Un punto de referencia tiene tres partes, y son las mismas tres partes ya sea que estés calificando contenido o un producto:
Casos de prueba: entradas reales emparejadas con cómo se ve una buena salida (tu verdad fundamental)
Métricas: cómo conviertes una salida en una puntuación, idealmente de 0 a 1
Un umbral: la línea por debajo de la cual nada se publica
Construye esos tres y tienes una compuerta de calidad. Omite cualquiera y tienes un deseo. El resto de esta sección es lo que va dentro de cada parte. Luego conectamos los tres en Hermes.
Para contenido: tus casos de prueba son tu estándar de oro
Toma de 20 a 50 de tus mejores piezas: los éxitos rotundos, las publicaciones que marcaron como favorito, los artículos que pondrías todo tu nombre detrás. Esto es lo que significa "bueno". No estás inventando un estándar, estás extrayendo el que ya alcanzaste en tus mejores días.
Para contenido: tu métrica es una rúbrica
Una puntuación solo es tan buena como la rúbrica detrás de ella. Así que codifica lo que realmente crees que hace que el trabajo sea bueno. Para contenido, califico cada pieza según cuatro criterios:
- Explica cómo hacer algo específico, no una vibra, sino una acción que el lector pueda tomar mañana.
- Cualquier persona en la audiencia puede seguirlo, sin muros de jerga, sin tecnicismos internos.
- Está estructurado, es replicable, paso a paso, no solo inspirador.
- Es novedoso: el lector no tenía idea de que se podía hacer esto.
El metacriterio que se sitúa sobre los cuatro: ¿alguien marcaría esto como favorito y volvería más tarde para implementarlo? Si la respuesta es no, es basura sin importar lo limpia que sea la prosa.
El truco es la rúbrica. Una rúbrica vaga ("¿es esto bueno y atractivo?") produce una puntuación vaga. Una rúbrica específica ("¿contiene esto al menos una plantilla o manual copiable y pegado?") produce una puntuación en la que puedes confiar. El juez hereda tu gusto solo si realmente escribes tu gusto.
Para producto: tus casos de prueba provienen de tus registros
Toma las entradas reales que ve tu función, de tus registros, de sesiones de usuario reales, no de los tres ejemplos de la ruta feliz que probaste el día del lanzamiento. Los casos que te rompen son los extraños, y los extraños viven en tus registros.
Para producto: tu métrica coincide con la tarea
Para cada entrada, define cómo se ve una salida correcta. Luego empareja la métrica con la tarea: coincidencia exacta cuando hay una etiqueta correcta, un validador cuando la estructura debe mantenerse, similitud semántica más un juez cuando la salida es abierta. La métrica solo tiene que devolver un número, porque un número es lo único sobre lo que puedes poner un umbral.
Para ambos: el umbral es la línea que mantienes
0.7 es un lugar razonable para empezar. Cualquier cosa por debajo de 0.7 se reelabora o se descarta antes de publicarse, sin excepciones. El umbral solo funciona si nunca dejas pasar un 0.6 porque te gustó. El objetivo es sacar el ego de la medianoche de la decisión.
Ese es el punto de referencia. Ahora lo hacemos funcionar por sí mismo.
Construyendo el bucle dentro de Hermes
Hermes no viene con un botón de evaluaciones. No hay un panel llamado "calidad" donde hagas clic en "activar protección contra basura".
Lo que Hermes te da en su lugar es mejor: las piezas en bruto de un bucle de evaluación como primitivas que ensamblas una vez y luego posees.
Habilidades que escribe por sí mismo y reutiliza, memoria persistente que crece entre sesiones, cron integrado que entrega a cualquier plataforma, botones de aprobación en Slack, y un hábito de auto-mejora integrado en el núcleo.
Hermes se llama a sí mismo "el agente que crece contigo", y ese crecimiento es exactamente el bucle que estamos construyendo.
Así que vamos a conectarlo, seis movimientos.
Movimiento 1: instala Hermes donde pueda alcanzarte
Instálalo y conéctalo a Telegram. Esto importa más de lo que parece, porque la compuerta solo funciona si puede interrumpirte. Hermes funciona en más de 20 canales y envía botones de aprobación nativos a Slack y Telegram, para que el agente pueda trabajar en segundo plano y tocarte el hombro cuando una decisión sea tuya.
Movimiento 2: carga tu estándar de oro en la memoria
Hermes tiene memoria persistente que crece entre sesiones con recuperación completa entre sesiones. Así que las 20 a 50 mejores piezas de tu punto de referencia van allí una vez y se quedan. Esta es la parte que normalmente está dispersa en capturas de pantalla y borradores antiguos. Aquí es la memoria a largo plazo del agente, consultable, la verdad fundamental contra la que se miden tus puntuaciones.
Movimiento 3: convierte tu rúbrica en una habilidad de juez
Este es el corazón del asunto. Le dices a Hermes una vez, en español sencillo, que cree una habilidad que tome una salida más tu rúbrica y devuelva una puntuación de 0 a 1 por criterio con una razón de una línea. Eso es "LLM como juez": un agente calificando a tu LLM, y un modelo con una rúbrica afilada es un crítico más consistente que tú porque no tiene ego en la pieza ni apego a la única frase de la que estás secretamente orgulloso.
La razón por la que esto vive como una habilidad y no como un prompt de una sola vez es que las habilidades de Hermes son memoria procedimental. El agente las escribe, las mantiene y las reutiliza. Codificas tu gusto una sola vez y califica cada salida para siempre. Y las habilidades se acumulan: Nous encontró que los agentes con más de 20 habilidades auto-creadas terminan tareas similares un 40% más rápido porque dejan de redescubrir el proceso. Tu juez se vuelve más agudo cuanto más se ejecuta.
Movimiento 4: haz que el conjunto sea una habilidad, no una hoja de cálculo
Tus casos de prueba más las funciones de métrica se convierten en una habilidad que Hermes posee y versiona. La biblioteca de métricas es lo que la tarea necesite: coincidencia exacta para clasificación, expresiones regulares para extracción, validadores JSON y de clave-valor para estructura, similitud semántica para salida generativa.
Tu habilidad de juez para lo abierto: Hermes escribe el código de puntuación por sí mismo. Tú describes la tarea y él construye la métrica. Todo ello sentado en un solo lugar que el agente posee, en lugar de una hoja que perderás.
Movimiento 5: protege el envío con pruebas de regresión y un botón de aprobación
Este es el hábito de mayor apalancamiento en todo el sistema y el que nadie mantiene a mano. Así que lo entregamos al agente. Conéctalos para que cualquier cambio (un nuevo prompt, un modelo intercambiado, un pipeline ajustado) active el conjunto. Hermes vuelve a ejecutar cada caso, calcula el delta de puntuación contra la línea base, y en lugar de publicarlo silenciosamente, te envía un ping en Slack: "Las puntuaciones pasaron de 0.81 a 0.74, dos casos retrocedieron, ¿apruebas?". Y solo avanza cuando tocas el botón.
Puedes mantenerlo bloqueado en esa tarea con /goal, que mantiene al agente enfocado en un objetivo a través de las interacciones. Y para algo más grande, su kanban multiagente puede descomponer la ejecución, puntuar en paralelo y programarlo, para que la compuerta sea un proceso permanente, no algo que recuerdes ejecutar.
Movimiento 6: vigila la producción con un cron y cierra el ciclo
Hermes tiene cron integrado que entrega a cualquier plataforma. Así que programas un trabajo que muestrea ejecuciones reales, las puntúa con la misma habilidad de juez, y te envía un mensaje directo en el momento en que la línea baja. Capturas la degradación el día que comienza, en lugar de la semana que un cliente se queja. "La puntuación de evaluación bajó" es un problema en el que puedes actuar. "Un cliente parecía molesto" no lo es.
Luego, la parte que hace que todo se acumule: cuando marcas una mala salida con un pulgar hacia abajo en Slack, Hermes la escribe de nuevo en la habilidad del conjunto como un nuevo caso de prueba. Esa ejecución fallida se convierte en una verificación permanente. Y debido a que la auto-mejora es lo que Hermes es, no una característica agregada al costado, el conjunto se endurece cada semana por sí solo. El piso sube mientras duermes.
Cómo se ve el éxito una vez que esto está funcionando, de forma concreta:
- Una pieza de contenido por debajo de 0.7 en tu rúbrica nunca se publica.
- Un cambio de producto que baja cualquier métrica por debajo de la línea base bloquea el despliegue hasta que lo apruebes.
- Y la línea de puntuación de producción se mantiene plana o sube. El día que baja es el día que Hermes te envía un ping, no la semana que aparece la deserción.
La parte que nadie quiere escuchar
La razón por la que tu producción de IA es inconsistente no es que seas malo haciendo prompts, y no es que el modelo no sea lo suficientemente inteligente todavía.
Es que estás ejecutando un paso de generación sin un paso de calidad. Construiste la mitad de un sistema y has estado culpando a la mitad que funciona.
La solución no es un mejor prompt, es una capa faltante. Define cómo se ve lo bueno, conviértelo en un número, califica cada salida contra él, detén todo lo que caiga por debajo de la línea, y cierra el ciclo para que el piso suba cada semana. Y ahora esa capa no es un proyecto para algún día, son seis movimientos dentro de un agente que se ejecuta en tu propia máquina.
Haz eso y la basura deja de ser algo que te sucede al azar y se convierte en algo que atrapas al salir por la puerta, cada vez, de la misma manera que una fábrica real atrapa un defecto antes de que llegue a un cliente.
El prompt nunca fue el sistema.
El bucle de evaluación es el sistema. Hermes es donde se ejecuta. Y ahora lo tienes.
