Los agentes de IA están pasando de responder preguntas a tomar acciones.
Ese único cambio transforma todo el modelo de riesgo.
Los chatbots producen texto. Los agentes operan sistemas.
Pueden leer correos electrónicos, llamar a APIs, actualizar registros de clientes, desplegar código, crear tickets, aprobar pasos de flujos de trabajo, coordinarse con otros agentes y almacenar nuevo conocimiento en la memoria a largo plazo.
Eso significa que la pregunta central ya no es:
¿Esta respuesta es correcta?
Ahora es:
¿Se le debería permitir a este agente actuar ahora mismo?
Esa es la pregunta que una capa de gobernanza existe para responder.
1. La memoria es útil. No es gobernanza.
La memoria ayuda a los agentes a preservar el contexto entre sesiones.
Les ayuda a recordar preferencias de usuario, trabajos anteriores, resultados de herramientas y decisiones previas. Eso importa. Pero la memoria no decide:
- qué hechos pueden ingresar a la memoria
- qué recuerdos están obsoletos o envenenados
- qué acciones requieren aprobación
- qué paso del flujo de trabajo debe venir después
- qué prueba se requiere antes de la ejecución
- qué agente puede usar qué información
En sistemas de agentes en producción, el problema más difícil a menudo no es la recuperación. Es la autoridad.
La memoria ayuda a un agente a recordar.
La gobernanza le ayuda a elegir qué se le permite hacer.
En esta distinción es donde se sitúa Marrow.
Marrow no es solo una capa de memoria. Es una capa de juicio para flotas de agentes de IA.
2. La observabilidad explica el pasado. Los agentes necesitan control antes del futuro.
La observabilidad es necesaria. Los equipos necesitan trazas, registros, evaluaciones, anotaciones, alertas y paneles de control.
Pero la visibilidad posterior no impide una mala acción antes de que ocurra.
Si un agente despliega código inseguro, envía un correo electrónico sensible, aprueba el pago equivocado o se salta un paso obligatorio del flujo de trabajo, el panel puede explicar el incidente después. No necesariamente lo previene.
Para flujos de trabajo de alto impacto, la señal debe llegar al agente antes de la acción:
- nivel de riesgo
- prueba requerida
- restricciones de política
- aprobación del propietario
- plan de reversión
- siguiente paso exacto
- permitir, advertir, revisar o bloquear
Esta es la brecha entre observabilidad y gobernanza.
Los paneles informan a los humanos.
La gobernanza informa a los agentes antes de que actúen.
3. La evaluación es una instantánea. La producción es un flujo continuo.
La evaluación previa al despliegue detecta muchos fallos. Pero los agentes en producción viven en entornos cambiantes.
Los prompts cambian. Las herramientas cambian. Las APIs cambian. Los datos cambian. Las políticas cambian. Otros agentes en la flota cambian.
Un benchmark puede decir que un agente se desempeña bien bajo un conjunto de condiciones. La producción plantea una pregunta diferente:
¿Seguirá este agente tomando la decisión correcta a medida que el entorno cambie?
La investigación sobre agentes que usan herramientas apunta en la misma dirección.
ToolEmu estudia agentes de modelos de lenguaje que usan herramientas de alto riesgo y muestra que los fallos de los agentes pueden crear consecuencias graves en el mundo real. AgentHarm y CUAHarm se centran en el comportamiento dañino una vez que los agentes pueden usar herramientas u operar computadoras. Otras investigaciones muestran que los agentes pueden entender el riesgo en abstracto pero aun así fallan en evitar acciones arriesgadas en trayectorias concretas.
La lección es práctica:
La seguridad no puede vivir solo en el modelo o solo en un benchmark.
Los agentes en producción necesitan control en tiempo de ejecución.
4. La gobernanza se está convirtiendo en infraestructura de IA.
Los principales marcos de gobernanza de IA están convergiendo en la misma idea: la IA responsable tiene que volverse operativa.
No solo principios.
No solo PDFs de políticas.
No solo paneles de control.
La gobernanza operativa requiere:
- gestión documentada de riesgos
- registro automático
- supervisión humana para decisiones de alto impacto
- gestión de calidad a lo largo del ciclo de vida
- trazabilidad del comportamiento del sistema
- monitorización posterior a la comercialización
- rendición de cuentas por resultados adversos
Esto es visible en NIST AI RMF, el Perfil de IA Generativa de NIST, ISO/IEC 42001, los Principios de IA de la OCDE, la Ley de IA de la UE, la taxonomía de riesgo de IA agentiva de OWASP y la guía de 2026 de los Cinco Ojos sobre servicios de IA agentiva.
La dirección es clara.
Los sistemas empresariales de IA necesitan evidencia, control, trazabilidad y rendición de cuentas a lo largo de su vida operativa.
Para los agentes de IA, eso significa que la gobernanza debe trasladarse al tiempo de ejecución.
5. Lo que debería hacer una capa de gobernanza de agentes
Una capa de gobernanza es un plano de control entre el tiempo de ejecución del agente y los sistemas que el agente puede afectar.
Recibe la acción prevista del agente, la evalúa contra la política, los permisos, el riesgo, la prueba y los resultados anteriores, y luego devuelve una decisión ejecutable:
permitir
advertir
requiere revisión
bloquear
Una capa de gobernanza seria necesita nueve funciones.
- Identidad y autoridad delimitada
Cada agente necesita una identidad clara, permisos limitados y credenciales delimitadas.
Una flota no puede ser gobernada si cada agente comparte la misma clave de API.
- Política en tiempo de ejecución
Las políticas deben convertirse en condiciones ejecutables en tiempo de ejecución.
¿Qué paso va primero?
¿Qué prueba se requiere?
¿Qué acción siempre necesita revisión?
¿Qué acción nunca debería ejecutarse automáticamente?
- Puertas de riesgo
El sistema debe clasificar las acciones por impacto, reversibilidad, sensibilidad y contexto de negocio.
El trabajo de bajo riesgo puede ejecutarse automáticamente. El trabajo de alto riesgo puede requerir prueba, aprobación o bloqueo.
- Paquetes de prueba
Antes de la acción, el agente debe adjuntar evidencia.
Ejemplos:
- cobertura de pruebas
- plan de reversión
- cláusula de política
- verificación de identidad
- aprobación clínica
- revisión de factura
- autorización del supervisor
- Enrutamiento de aprobaciones
La revisión humana no debería ser una cola manual para todo.
Debería ser un punto de control condicional para acciones donde el costo del error es alto.
- Auditoría y procedencia
Cada decisión debería ser trazable.
¿Quién la inició?
¿Por qué se permitió o bloqueó?
¿Qué política se aplicó?
¿Qué prueba se adjuntó?
¿Quién la aprobó?
¿Qué pasó después?
- Cierre de resultados
La gobernanza no termina con permitir o bloquear.
El sistema debe cerrar el ciclo:
- ¿tuvo éxito la acción?
- ¿falló?
- ¿fue necesaria una reversión?
- ¿quién la aprobó?
- ¿qué lección debería almacenarse?
- Gobernanza de escritura en memoria
No todo registro es conocimiento.
No todo conocimiento debería influir en todos los agentes.
Los resultados reales deberían convertirse en memoria solo a través de una escritura controlada.
- Aprendizaje a nivel de flota
La capa de gobernanza debe rastrear el comportamiento en toda la flota:
- desviación de los flujos de trabajo de referencia
- bucles de reintento
- fallos repetidos
- patrones que deberían advertir a futuros agentes
Aquí es donde la gobernanza se vuelve más que restricción. Se convierte en aprendizaje.
6. Marrow como caso de estudio de gobernanza
Marrow está diseñado en torno a un bucle operativo simple:
orientar → pensar → actuar → verificar → confirmar
Cada paso tiene una función de gobernanza.
Orientar presenta el historial relevante, advertencias y restricciones.
Pensar evalúa la acción prevista antes de que ocurra.
Actuar ejecuta con contexto y salvaguardas adjuntas.
Verificar inspecciona si falta prueba o cierre.
Confirmar registra el resultado para que la próxima decisión mejore.
Esta es la diferencia central entre memoria y juicio.
La memoria pregunta:
¿Qué sabe el agente?
Marrow pregunta:
¿Debería actuar el agente, y bajo qué condiciones?
Sus superficies de producto se corresponden directamente con la gobernanza en tiempo de ejecución:
- decisionBrief() proporciona al agente contexto previo a la acción.
- workflowGate() devuelve permitir, advertir, requiere revisión o bloquear.
- runGuarded() envuelve trabajo riesgoso con guía previa a la acción y cierre de resultados.
- agentRuntime() inyecta lecciones y requisitos de prueba en el contexto del agente.
- agentStatus() muestra si Marrow está activo y recopilando señal útil.
- valueReport() convierte la gobernanza en prueba visible para el propietario.
En otras palabras:
Marrow convierte resultados pasados en juicio antes de la acción.
7. Un ejemplo concreto: el mal despliegue
Imagina un agente de CI/CD a punto de desplegar un cambio en un webhook de pagos.
La compilación pasa.
La rama está lista.
El agente está a punto de enviar a producción.
Pero la solicitud de extracción carece de tres cosas:
- cobertura de pruebas
- plan de reversión
- prueba de humo
Sin gobernanza, el despliegue podría continuar.
Los fallos de pago aparecen horas después. Los clientes se ven afectados. El ingeniero de guardia revierte manualmente. El incidente se convierte en otra autopsia.
Con gobernanza, la puerta del flujo de trabajo se ejecuta antes del despliegue.
Devuelve:
nivel de riesgo: alto
paquete de prueba faltante
despliegue bloqueado
El agente no solo está registrando más. Está siendo forzado a detenerse en el punto correcto.
Ese es el valor de la gobernanza previa a la acción.
8. Las métricas correctas para la gobernanza de agentes
Una capa de gobernanza no solo debería contar registros.
Debería medir si la flota se está volviendo más segura, más consistente y más fácil de auditar.
Las métricas útiles incluyen:
- Cobertura de acciones: cuántas acciones de alto impacto pasan por una puerta
- Tasa de finalización de pruebas: cuántas acciones incluyen la prueba requerida antes de la ejecución
- Tasa de cierre de resultados: cuántas decisiones se cierran con un resultado real
- Prevención de fallos repetidos: con qué frecuencia se evitan patrones de fallo conocidos
- Gravedad de la desviación: qué tan lejos se mueven los agentes de los flujos de trabajo aprobados
- Tasa de falsos positivos: con qué frecuencia la puerta bloquea demasiado
- Tasa de falsos negativos: con qué frecuencia se cuelan acciones peligrosas
- Tiempo de reconstrucción de auditoría: cuánto tiempo se tarda en explicar una decisión
- Precisión de la revisión humana: si la aprobación humana se usa para las acciones correctas
La gobernanza es útil cuando reduce las reversiones, previene incidentes repetidos, reduce las revisiones innecesarias y hace que el comportamiento del agente sea más fácil de demostrar.
De lo contrario, se convierte en teatro de cumplimiento.
9. La capa de gobernanza también tiene riesgos
Una capa de gobernanza también puede fallar.
Puede estar mal configurada. Las políticas pueden volverse obsoletas. La prueba puede ser incompleta. Las puertas pueden bloquear en exceso. Los atacantes pueden apuntar al plano de control. Si almacena demasiados datos sensibles, se convierte en un punto de concentración de riesgos.
Por lo tanto, la propia capa de gobernanza necesita disciplina:
- Mínimo privilegio por defecto Los agentes solo deberían recibir los permisos que necesitan, durante el tiempo que los necesitan.
- Cerrar en caso de fallo para acciones de alto impacto Si la acción puede causar daños graves, la falta de prueba debería detener la ejecución.
- Fallar suavemente para automatización de bajo riesgo No todas las acciones merecen el mismo nivel de fricción.
- Evidencia legible por humanos, política legible por máquinas Los operadores necesitan entender la decisión. Los sistemas necesitan hacerla cumplir.
- Aprendizaje a partir de resultados reales Sin cierre de resultados, el sistema acumula registros, no juicio.
10. Conclusión
Los agentes de IA llevan el software a un nuevo modelo operativo.
Pueden elegir herramientas, coordinarse con otros agentes, modificar sistemas y crear consecuencias.
En ese modelo, la gobernanza no es una capa añadida después del despliegue. Pertenece dentro del tiempo de ejecución.
La memoria, la observabilidad, la evaluación y la revisión humana son importantes. Pero cada una resuelve solo una parte del problema.
Una capa de gobernanza las conecta en un bucle de acción responsable:
política antes de la acción, prueba antes de la ejecución, autoridad durante la acción, resultado después de la acción, aprendizaje en toda la flota.
Esa es la tesis detrás de Marrow.
Las flotas de agentes de IA no solo necesitan recordar más.
Necesitan un mejor juicio antes de actuar.
Referencias
- NIST. Marco de Gestión de Riesgos de IA
- NIST. Perfil de IA Generativa, NIST AI 600-1
- OCDE. Principios de IA de la OCDE
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 9: Sistema de gestión de riesgos
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 12: Mantenimiento de registros
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 14: Supervisión humana
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 17: Sistema de gestión de calidad
