Hay una razón por la que algunas personas parecen estar constantemente lanzando el mejor software, escribiendo contenido increíble o generando imágenes alucinantes...
Adoptaron el bucle de evaluación, mientras que tú...
Has probado mejores prompts, te has cambiado al modelo más caro, has escrito instrucciones más largas, has activado la memoria, has creado archivos de contexto del tamaño de una novela, y la basura digital sigue apareciendo...
aparece porque sigues arreglando la capa que nunca estuvo rota
la basura digital no es un problema de prompts, es un problema de sistemas, de la misma manera que una fábrica que envía unidades defectuosas no tiene un problema de trabajadores, tiene un problema de control de calidad, nadie revisa el producto antes de que salga del edificio
así que esto es la construcción, al final de esta lectura tendrás un bucle de evaluación funcional ejecutándose dentro de Hermes, el agente de código abierto, puntuando cada salida contra tu estándar antes de que se envíe, vigilando tu salida en vivo después de que se envía, y convirtiendo cada fallo en una nueva prueba para que el piso de calidad suba solo
lo construimos juntos, pieza por pieza, y la recompensa es concreta, una salida limpia en la que puedas confiar sin tener que releerla a medianoche, un número de calidad que puedas ver realmente, y basura digital que se detecta a la salida en lugar de ser detectada por tu audiencia
esto es lo que obtendrás:
- la verdadera razón por la que mejores prompts, modelos más grandes y la memoria nunca eliminan la basura digital para siempre, y la única capa que realmente lo hace
- los dos lugares donde se esconde la basura digital en tu trabajo, tu producción de contenido y tu producción de producto, y por qué la solución es idéntica para ambos
- qué es un bucle de evaluación en español claro, la capa de calidad que muy pocas personas ejecutan a diario, y la razón por la que nadie te dijo que construyeras uno
- un punto de referencia de calidad que puedes implementar esta semana, para contenido y para producto, exactamente qué medir y cómo se ve "bueno" como un número que puedas leer en una pantalla
- la construcción exacta, paso a paso, para conectar todo ese bucle en Hermes a partir de las piezas que ya te ofrece, habilidades, memoria, cron, y botones de aprobación, para que la compuerta funcione sin ti
si viniste aquí por "los 5 prompts que arreglan la basura digital de la IA", esta no es esa pieza, esas existen y no funcionan, esta es la versión que sí funciona
has probado todo excepto lo único
un breve repaso de lo que ya has hecho:
reescribiste el prompt, tres veces, cuatro veces, añadiste ejemplos, añadiste una personalidad, añadiste una lista de "no hacer" de un kilómetro
actualizaste al modelo de frontera, pagaste 5 veces más por token, y la salida se volvió más segura sin volverse menos genérica
activaste la memoria, construiste un archivo de contexto, le diste tu tono de marca, tu trabajo pasado, tu guía de estilo
y cada uno de esos movimientos te compró unas cuantas buenas generaciones, luego la basura digital volvió
cada uno de esos es una solución del lado de la entrada, sigues afilando lo que genera mientras ignoras lo que debería estar detectando, un mejor arma disparada a oscuras sigue sin acertar a nada
la basura digital es un problema del lado de la salida, no es que el modelo no pueda producir buen trabajo, es que no tienes forma de distinguir el buen trabajo del mal trabajo antes de que llegue a alguien que importa
no hay bucle de evaluación, no hay punto de referencia de calidad, no hay marcador, así que estás ajustando a ciegas, cambias un prompt y sientes que mejoró, pero sentir no es medir y un sentimiento no detecta la mala ejecución escondida en las siguientes 50 generaciones
así que te culpas a ti mismo, o a tu prompt, o a la configuración de tu agente, o a tu ingeniería de contexto, cuando la pieza que falta es una capa entera de trabajar con IA que nunca te mostraron, y al final de esta pieza esa capa va a estar funcionando en tu propia máquina dentro de Hermes
por qué los mejores prompts no pueden arreglar esto (y por qué todo el mundo sigue intentándolo de todos modos)
un prompt es una hipótesis, la salida es el resultado, y una evaluación es lo único que cierra el bucle entre ellos
sin ese bucle estás adivinando para siempre, ajustas la hipótesis, ojeras un resultado, declaras victoria, y nunca descubres que el mismo prompt produce basura el 30% del tiempo porque solo miraste la única salida que tenías delante
el modelo es no determinista, el mismo prompt ejecutado dos veces te da dos respuestas diferentes, lo que significa que incluso un prompt perfecto produce basura en algún porcentaje de ejecuciones y no tienes idea de qué ejecuciones hasta que un cliente o un usuario está mirando una
así que un prompt perfecto no es una garantía de calidad, es una tirada de moneda ligeramente mejor, y estás enviando cada tirada
la razón por la que todo el mundo sigue recurriendo a los prompts es simple, el prompt es la única palanca que realmente puedes ver, puedes editarlo, y editarlo se siente como control
la medición es invisible, nadie te vende un curso sobre ello, nadie publica un hilo viral titulado "el conjunto de evaluación que multiplicó por 10 mi producción", así que toda la conversación se queda estancada en la única palanca que no puede resolver el problema por sí sola
las personas cuya producción de IA es consistentemente limpia no son mejores que tú haciendo prompts, solo tienen una segunda palanca que tú no tienes, miden cada salida contra un estándar antes de que se envíe, y la medición es lo que hace que sus prompts parezcan magia
los dos lugares donde vive la basura digital
la basura digital se esconde en exactamente dos lugares, y casi todo el mundo solo está mirando uno de ellos
lugar 1, tu producción de contenido
los tweets, los artículos, los correos electrónicos, las páginas de aterrizaje, las publicaciones, cualquier cosa que generes con IA y publiques bajo tu nombre
la basura digital aquí parece un trabajo que está técnicamente bien y completamente hueco, y suena como todas las demás cuentas de IA en la línea de tiempo, correcto por fuera, vacío por dentro
muere en público y no puedes articular por qué porque cada pieza individual se veía bien cuando le diste a enviar
lugar 2, tu producción de producto
la función de IA que lanzaste, el agente, el chatbot, el respondedor de soporte, el pipeline de extracción, lo que tus usuarios tocan realmente
la basura digital aquí parece una respuesta incorrecta entregada con total confianza, un número alucinado, un payload JSON roto, un tono que no encaja con la marca, una salida que fue genial en la demo y se degradó silenciosamente tres despliegues después
no muere en público, escala en silencio, cada usuario recibe una experiencia ligeramente peor y la mayoría nunca te lo dice, simplemente se van
estas son la misma enfermedad con la misma cura
la basura digital de contenido y la basura digital de producto son ambas salida de IA no medida que va directamente a una audiencia sin ninguna puerta de en medio
la única diferencia son las consecuencias y la visibilidad, la basura digital de contenido te avergüenza ruidosamente, la basura digital de producto te desangra silenciosamente, y el bucle que construimos en Hermes califica ambas con la misma habilidad, para que ejecutes un sistema de calidad en todo lo que generes en lugar de dos
qué es realmente un bucle de evaluación
un bucle de evaluación es una prueba repetible que puntúa tu salida de IA contra un estándar, automáticamente, cada vez, antes de que se envíe y después de que se envíe
eso es todo, es todo el asunto, y es la capa que casi nadie que construye con IA tiene
genera la salida
puntúala contra un punto de referencia que definiste
detecta las ejecuciones que caen por debajo del umbral
arregla lo que está fallando
vuelve a puntuar, y deja pasar solo la salida que aprueba
los ingenieros de software han tenido esto para siempre, se llama pruebas, nunca enviarías código sin pruebas y solo esperar que funcione en producción, pero eso es exactamente como toda la industria envía la salida de IA ahora mismo, directamente del modelo al usuario basándose en una corazonada y una oración
la razón por la que casi nadie tiene un bucle de evaluación es demográfica, las personas que construyen con IA hoy vienen del contenido, las ventas, el producto, la fundación de empresas, no de la ingeniería, así que "escribe pruebas para tu salida" nunca estuvo en el kit de herramientas, las evaluaciones se leen como infraestructura para ingenieros "de verdad", y las personas que más las necesitan asumen que no tienen permitido querer una
piensa en ello como pruebas unitarias para lo no determinista, no estás probando si el código se ejecuta, estás probando si la salida es buena, y lo estás probando en suficientes casos para que una mala ejecución no pueda esconderse
un bucle de evaluación se ejecuta en tres lugares, y la construcción que viene lo pondrá en los tres:
- antes de enviar, ejecuta tu nuevo prompt o modelo contra un conjunto guardado de casos y confirma que no empeoró, esto son pruebas de regresión, es cómo detienes un cambio que arregla una cosa y rompe silenciosamente otras tres
- en tiempo de ejecución, puntúa la salida a medida que se genera y deja que la lógica condicional detecte los fallos antes de que lleguen al usuario, esto es la barrera de protección
- en producción, puntúa una muestra de ejecuciones reales de forma continua para que puedas ver la calidad degradándose el día que comienza, no la semana que un cliente se queja
puedes implementar el primero en una hoja de cálculo, pero ejecutar los tres de forma continua sin que se convierta en un segundo trabajo es toda la razón por la que estamos poniendo esto dentro de un agente
en el momento en que la calidad se convierte en un número, la basura digital deja de ser un sentimiento que sigues teniendo y se convierte en un error que puedes arreglar, no puedes depurar una vibra, puedes depurar una puntuación que cayó de 0.82 a 0.61
el punto de referencia, las tres partes que estás a punto de construir
un punto de referencia tiene tres partes, y son las mismas tres partes tanto si estás calificando contenido como si estás calificando un producto:
casos de prueba, entradas reales emparejadas con cómo se ve una buena salida (tu verdad fundamental)
métricas, cómo conviertes una salida en una puntuación, idealmente de 0 a 1
un umbral, la línea por debajo de la cual no se envía nada
construye esos tres y tienes una puerta de calidad, salta cualquiera de ellos y tienes un deseo, el resto de esta sección es lo que va dentro de cada parte, luego conectamos los tres en Hermes
para contenido, tus casos de prueba son tu estándar de oro
saca de 20 a 50 de tus mejores piezas, los exitazos, las publicaciones que marcaron como favorito, los artículos que pondrías todo tu nombre detrás, esto es lo que se ve "bueno", no estás inventando un estándar, estás extrayendo el que ya alcanzaste en tus mejores días
para contenido, tu métrica es una rúbrica
una puntuación solo es tan buena como la rúbrica que hay detrás, así que codifica lo que realmente crees que hace que el trabajo sea bueno, para contenido yo califico cada pieza en cuatro criterios:
- explica cómo hacer algo específico, no una vibra, una acción que el lector pueda tomar mañana
- cualquiera en la audiencia puede seguirlo, sin muros de jerga, sin tecnicismos internos
- está estructurado, es replicable, paso a paso, no solo inspirador
- es novedoso, el lector no tenía idea de que podías hacer esto
el meta-criterio que se sitúa encima de los cuatro, ¿alguien marcaría esto como favorito y volvería para implementarlo después?, si la respuesta es no, es basura digital sin importar lo limpio que suene el texto
el truco es la rúbrica, una rúbrica vaga ("¿es esto bueno y atractivo?") produce una puntuación vaga, una rúbrica específica ("¿contiene esto al menos una plantilla o manual copiable y pegable?") produce una puntuación en la que puedes confiar, el juez hereda tu gusto solo si realmente escribes tu gusto
para producto, tus casos de prueba vienen de tus registros
saca las entradas reales que ve tu función, de tus registros, de sesiones de usuario reales, no los tres ejemplos del camino feliz que probaste el día del lanzamiento, los casos que te rompen son los raros y los raros viven en tus registros
para producto, tu métrica coincide con la tarea
para cada entrada, define cómo se ve una salida correcta, luego haz coincidir la métrica con la tarea, coincidencia exacta cuando hay una etiqueta correcta, un validador cuando la estructura tiene que mantenerse, similitud semántica más un juez cuando la salida es abierta, la métrica solo tiene que devolver un número porque un número es lo único sobre lo que puedes poner un umbral
para ambos, el umbral es la línea que mantienes
0.7 es un lugar razonable para empezar, cualquier cosa por debajo de 0.7 se reelabora o se elimina antes de enviarse, sin excepciones, el umbral solo funciona si nunca dejas pasar un 0.6 porque te gustó, el objetivo es sacar el ego de altas horas de la noche de la decisión
ese es el punto de referencia, ahora lo hacemos funcionar solo
construyendo el bucle dentro de Hermes
Hermes no viene con un botón de evaluaciones, no hay un panel llamado calidad donde hagas clic en "activar protección contra basura digital"
lo que Hermes te da en su lugar es mejor, las piezas brutas de un bucle de evaluación como primitivas que ensamblas una vez y luego posees
habilidades que escribe para sí mismo y reutiliza, memoria persistente que crece a través de las sesiones, cron integrado que entrega a cualquier plataforma, botones de aprobación en Slack, y un hábito de auto-mejora integrado en el núcleo
Hermes se llama a sí mismo "el agente que crece contigo" y ese crecimiento es exactamente el bucle que estamos construyendo
así que vamos a conectarlo, seis movimientos
movimiento 1, pon a Hermes en pie donde pueda alcanzarte
instálalo y conéctalo a Telegram, esto importa más de lo que parece, porque la puerta solo funciona si puede interrumpirte, Hermes se ejecuta en más de 20 canales y envía botones de aprobación nativos a Slack y Telegram, para que el agente pueda hacer trabajo en segundo plano y tocarte el hombro cuando una decisión es tuya
movimiento 2, carga tu estándar de oro en la memoria
Hermes tiene memoria persistente que crece a través de las sesiones con recuperación completa entre sesiones, así que las 20 a 50 mejores piezas de tu punto de referencia van allí una vez y se quedan, esta es la parte que normalmente está dispersa en capturas de pantalla y borradores antiguos, aquí es la memoria a largo plazo del agente, consultable, la verdad fundamental contra la que se miden tus puntuaciones
movimiento 3, convierte tu rúbrica en una habilidad de juez
este es el corazón del asunto, le dices a Hermes una vez, en español claro, que cree una habilidad que tome una salida más tu rúbrica y devuelva una puntuación de 0 a 1 por criterio con una razón de una línea, eso es llm-como-juez, un agente calificando tu llm, y un modelo con una rúbrica afilada es un crítico más consistente que tú porque no tiene ego en la pieza y ningún apego a la única frase de la que estás secretamente orgulloso
la razón por la que esto vive como una habilidad y no como un prompt único es que las habilidades de Hermes son memoria procedimental, el agente las escribe, las mantiene y las reutiliza, codificas tu gusto una sola vez y califica cada salida para siempre, y las habilidades se acumulan, Nous encontró que los agentes con más de 20 habilidades auto-creadas terminan tareas similares un 40% más rápido porque dejan de redescubrir el proceso, tu juez se vuelve más afilado cuanto más se ejecuta
movimiento 4, convierte el conjunto en una habilidad, no en una hoja de cálculo
tus casos de prueba más las funciones de métrica se convierten en una habilidad que Hermes posee y versiona, la biblioteca de métricas es lo que sea que la tarea necesite, coincidencia exacta para clasificación, regex para extracción, validadores JSON y clave-valor para estructura, similitud semántica para salida generativa
tu habilidad de juez para lo abierto, Hermes escribe el código de puntuación él mismo, describes la tarea y él construye la métrica, todo ello sentado en un solo lugar que el agente posee en lugar de una hoja que perderás
movimiento 5, protege el envío con pruebas de regresión y un botón de aprobación
este es el hábito de mayor apalancamiento en todo el sistema y el que nadie sigue haciendo a mano, así que se lo damos al agente, conéctalo para que cualquier cambio, un nuevo prompt, un modelo intercambiado, un pipeline ajustado, active el conjunto, Hermes vuelve a ejecutar cada caso, calcula el delta de puntuación contra la línea base, y en lugar de enviarlo silenciosamente, te notifica en Slack, "las puntuaciones pasaron de 0.81 a 0.74, dos casos retrocedieron, ¿apruebas?", y solo avanza cuando tocas el botón
puedes mantenerlo bloqueado en ese trabajo con /goal, que mantiene al agente en un objetivo a través de los turnos, y para cualquier cosa más grande, su kanban multi-agente puede descomponer la ejecución, puntuar en paralelo y programarla, para que la puerta sea un proceso permanente, no algo que recuerdes ejecutar
movimiento 6, vigila la producción con un cron y cierra el bucle
Hermes tiene cron integrado que entrega a cualquier plataforma, así que programas un trabajo que muestrea ejecuciones reales, las puntúa con la misma habilidad de juez, y te envía un mensaje directo en el momento en que la línea baja, detectas la degradación el día que comienza en lugar de la semana que un cliente se queja, "la puntuación de evaluación bajó" es un problema sobre el que puedes actuar, "un cliente parecía molesto" no lo es
luego la parte que hace que todo el asunto se acumule, cuando marcas una mala salida con un pulgar hacia abajo en Slack, Hermes la escribe de nuevo en la habilidad del conjunto como un nuevo caso de prueba, esa ejecución fallida se convierte en una comprobación permanente, y debido a que la auto-mejora es lo que Hermes es, no una característica añadida a un lado, el conjunto se endurece cada semana por sí solo, el piso sube mientras duermes
cómo se ve el éxito una vez que esto está funcionando, concretamente, una pieza de contenido por debajo de 0.7 en tu rúbrica nunca se envía, un cambio de producto que baja cualquier métrica por debajo de la línea base bloquea el despliegue hasta que lo apruebes, y la línea de puntuación de producción se mantiene estable o sube, el día que baja es el día que Hermes te notifica, no la semana que aparece la rotación de clientes
la parte que nadie quiere escuchar
la razón por la que tu producción de IA es inconsistente no es que seas malo haciendo prompts, y no es que el modelo no sea lo suficientemente inteligente todavía
es que estás ejecutando un paso de generación sin ningún paso de calidad, construiste medio sistema y has estado culpando a la mitad que funciona
la solución no es un mejor prompt, es una capa que falta, define cómo se ve lo bueno, conviértelo en un número, puntúa cada salida contra él, bloquea todo lo que cae por debajo del umbral, y cierra el bucle para que el piso suba cada semana, y ahora esa capa no es un proyecto para algún día, son seis movimientos dentro de un agente que se ejecuta en tu propia máquina
haz eso y la basura digital deja de ser algo que te sucede aleatoriamente y se convierte en algo que detectas a la salida, cada vez, de la misma manera que una fábrica real detecta un defecto antes de que llegue a un cliente
el prompt nunca fue el sistema
el bucle de evaluación es el sistema, Hermes es donde se ejecuta, y ahora lo tienes
