Los agentes de IA están pasando de responder preguntas a tomar acciones.
Ese único cambio transforma todo el modelo de riesgo.
Los chatbots producen texto. Los agentes operan sistemas.
Pueden leer correos electrónicos, llamar a API, actualizar registros de clientes, desplegar código, crear tickets, aprobar pasos de flujos de trabajo, coordinarse con otros agentes y almacenar nuevo conocimiento en la memoria a largo plazo.
Eso significa que la pregunta central ya no es:
¿Es correcta esta respuesta?
Es:
¿Debería permitirse que este agente actúe ahora mismo?
Esa es la pregunta que una capa de gobernanza existe para responder.
1. La memoria es útil. No es gobernanza.
La memoria ayuda a los agentes a preservar el contexto entre sesiones.
Les ayuda a recordar preferencias de usuarios, trabajos anteriores, salidas de herramientas y decisiones previas. Eso importa. Pero la memoria no decide:
- qué hechos están autorizados a entrar en la memoria
- qué recuerdos están obsoletos o contaminados
- qué acciones requieren aprobación
- qué paso del flujo de trabajo debe venir a continuación
- qué prueba se requiere antes de la ejecución
- qué agente tiene permitido usar qué información
En sistemas de agentes en producción, el problema más difícil a menudo no es la recuperación. Es la autoridad.
La memoria ayuda a un agente a recordar.
La gobernanza le ayuda a elegir lo que se le permite hacer.
En esta distinción se sitúa Marrow.
Marrow no es solo una capa de memoria. Es una capa de juicio para flotas de agentes de IA.
2. La observabilidad explica el pasado. Los agentes necesitan control antes del futuro.
La observabilidad es necesaria. Los equipos necesitan trazas, registros, evaluaciones, anotaciones, alertas y paneles.
Pero la visibilidad posterior no detiene una mala acción antes de que ocurra.
Si un agente despliega código inseguro, envía un correo electrónico sensible, aprueba el pago incorrecto u omite un paso obligatorio del flujo de trabajo, el panel puede explicar el incidente después. No necesariamente lo previene.
Para flujos de trabajo de alto impacto, la señal debe llegar al agente antes de la acción:
- nivel de riesgo
- prueba requerida
- restricciones de política
- aprobación del propietario
- plan de reversión
- siguiente paso exacto
- permitir, advertir, revisar o bloquear
Esta es la brecha entre observabilidad y gobernanza.
Los paneles informan a los humanos.
La gobernanza informa a los agentes antes de que actúen.
3. La evaluación es una instantánea. La producción es un flujo.
La evaluación previa al despliegue detecta muchos fallos. Pero los agentes en producción viven en entornos cambiantes.
Los prompts cambian. Las herramientas cambian. Las API cambian. Los datos cambian. Las políticas cambian. Otros agentes en la flota cambian.
Un benchmark puede decir que un agente funciona bien bajo un conjunto de condiciones. La producción pregunta algo diferente:
¿Seguirá este agente tomando la decisión correcta a medida que el entorno cambie?
La investigación sobre agentes que usan herramientas apunta en la misma dirección.
ToolEmu estudia agentes basados en modelos de lenguaje que usan herramientas de alto riesgo y muestra que los fallos de los agentes pueden crear graves consecuencias en el mundo real. AgentHarm y CUAHarm se centran en el comportamiento dañino una vez que los agentes pueden usar herramientas u operar computadoras. Otras investigaciones muestran que los agentes pueden entender el riesgo en abstracto pero aún así fallan en evitar acciones riesgosas en trayectorias concretas.
La lección es práctica:
La seguridad no puede vivir solo en el modelo o solo en un benchmark.
Los agentes en producción necesitan control en tiempo de ejecución.
4. La gobernanza se está convirtiendo en infraestructura de IA.
Los principales marcos de gobernanza de IA están convergiendo en la misma idea: la IA responsable tiene que volverse operativa.
No solo principios.
No solo PDFs de políticas.
No solo paneles.
La gobernanza operativa requiere:
- gestión de riesgos documentada
- registro automático
- supervisión humana para decisiones de alto impacto
- gestión de calidad a lo largo del ciclo de vida
- trazabilidad del comportamiento del sistema
- monitoreo posterior a la comercialización
- rendición de cuentas por resultados adversos
Esto es visible en NIST AI RMF, el Perfil de IA Generativa de NIST, ISO/IEC 42001, los Principios de IA de la OCDE, la Ley de IA de la UE, la taxonomía de riesgos de IA agentiva de OWASP y la guía de 2026 de Five Eyes sobre servicios de IA agentiva.
La dirección es clara.
Los sistemas de IA empresarial necesitan evidencia, control, trazabilidad y rendición de cuentas a lo largo de su vida operativa.
Para los agentes de IA, eso significa que la gobernanza debe trasladarse al tiempo de ejecución.
5. Qué debería hacer una capa de gobernanza de agentes
Una capa de gobernanza es un plano de control entre el tiempo de ejecución del agente y los sistemas que el agente puede afectar.
Recibe la acción prevista del agente, la evalúa contra políticas, permisos, riesgo, prueba y resultados anteriores, y luego devuelve una decisión ejecutable:
permitir
advertir
revisión requerida
bloquear
Una capa de gobernanza seria necesita nueve funciones.
- Identidad y autoridad con alcance
Cada agente necesita una identidad clara, permisos limitados y credenciales con alcance.
Una flota no puede gobernarse si cada agente comparte la misma clave de API.
- Política en tiempo de ejecución
Las políticas deben convertirse en condiciones ejecutables en tiempo de ejecución.
¿Qué paso viene primero?
¿Qué prueba se requiere?
¿Qué acción siempre necesita revisión?
¿Qué acción nunca debería ejecutarse automáticamente?
- Puertas de riesgo
El sistema debería clasificar las acciones por impacto, reversibilidad, sensibilidad y contexto de negocio.
El trabajo de bajo riesgo puede ejecutarse automáticamente. El trabajo de alto riesgo puede requerir prueba, aprobación o bloqueo.
- Paquetes de prueba
Antes de la acción, el agente debería adjuntar evidencia.
Ejemplos:
- cobertura de pruebas
- plan de reversión
- cláusula de política
- verificación de identidad
- aprobación clínica
- revisión de factura
- visto bueno del supervisor
- Enrutamiento de aprobaciones
La revisión humana no debería ser una cola manual para todo.
Debería ser un punto de control condicional para acciones donde el costo del error es alto.
- Auditoría y procedencia
Cada decisión debería ser trazable.
¿Quién la inició?
¿Por qué se permitió o bloqueó?
¿Qué política se aplicó?
¿Qué prueba se adjuntó?
¿Quién la aprobó?
¿Qué sucedió después?
- Cierre de resultados
La gobernanza no termina con permitir o bloquear.
El sistema debe cerrar el ciclo:
- ¿tuvo éxito la acción?
- ¿falló?
- ¿se necesitó reversión?
- ¿quién la aprobó?
- ¿qué lección debería almacenarse?
- Gobernanza de escritura en memoria
No todo registro es conocimiento.
No cada pieza de conocimiento debería influir en cada agente.
Los resultados reales deberían convertirse en memoria solo a través de escritura controlada.
- Aprendizaje a nivel de flota
La capa de gobernanza debería rastrear el comportamiento en toda la flota:
- desviación de los flujos de trabajo base
- bucles de reintento
- fallos repetidos
- patrones que deberían advertir a futuros agentes
Aquí es donde la gobernanza se vuelve más que restricción. Se convierte en aprendizaje.
6. Marrow como caso de estudio de gobernanza
Marrow está diseñado alrededor de un bucle operativo simple:
orientar -> pensar -> actuar -> verificar -> confirmar
Cada paso tiene una función de gobernanza.
Orientar saca a la superficie el historial relevante, advertencias y restricciones.
Pensar evalúa la acción prevista antes de que ocurra.
Actuar ejecuta con contexto y barreras de protección adjuntas.
Verificar inspecciona si falta prueba o cierre.
Confirmar registra el resultado para que la próxima decisión mejore.
Esta es la diferencia central entre memoria y juicio.
La memoria pregunta:
¿Qué sabe el agente?
Marrow pregunta:
¿Debería actuar el agente, y bajo qué condiciones?
Sus superficies de producto se asignan directamente a la gobernanza en tiempo de ejecución:
- decisionBrief() proporciona al agente contexto previo a la acción.
- workflowGate() devuelve permitir, advertir, revisión requerida o bloquear.
- runGuarded() envuelve trabajo riesgoso con orientación previa a la acción y cierre de resultados.
- agentRuntime() inyecta lecciones y requisitos de prueba en el contexto del agente.
- agentStatus() muestra si Marrow está activo y recopilando señales útiles.
- valueReport() convierte la gobernanza en prueba visible para el propietario.
En otras palabras:
Marrow convierte resultados pasados en juicio previo a la acción.
7. Un ejemplo concreto: el despliegue defectuoso
Imagina un agente CI/CD a punto de desplegar un cambio en un webhook de pagos.
La compilación pasa.
La rama está lista.
El agente está a punto de enviar a producción.
Pero la solicitud de extracción (pull request) carece de tres cosas:
- cobertura de pruebas
- plan de reversión
- prueba de humo (smoke test)
Sin gobernanza, el despliegue podría realizarse.
Los fallos de pago aparecen horas después. Los clientes se ven afectados. El ingeniero de guardia revierte manualmente. El incidente se convierte en otra autopsia (postmortem).
Con gobernanza, la puerta de flujo de trabajo se ejecuta antes del despliegue.
Devuelve:
nivel de riesgo: alto
paquete de prueba faltante
despliegue bloqueado
El agente no solo está registrando más. Se le está forzando a detenerse en el punto correcto.
Ese es el valor de la gobernanza previa a la acción.
8. Las métricas correctas para la gobernanza de agentes
Una capa de gobernanza no solo debería contar registros.
Debería medir si la flota se está volviendo más segura, más consistente y más fácil de auditar.
Las métricas útiles incluyen:
- Cobertura de acciones: cuántas acciones de alto impacto pasan por una puerta
- Tasa de finalización de pruebas: cuántas acciones incluyen la prueba requerida antes de la ejecución
- Tasa de cierre de resultados: cuántas decisiones se cierran con un resultado real
- Prevención de fallos repetidos: con qué frecuencia se evitan patrones de fallo conocidos
- Gravedad de la desviación: qué tan lejos se mueven los agentes de los flujos de trabajo aprobados
- Tasa de falsos positivos: con qué frecuencia la puerta bloquea demasiado
- Tasa de falsos negativos: con qué frecuencia acciones peligrosas se filtran
- Tiempo de reconstrucción de auditoría: cuánto tiempo lleva explicar una decisión
- Precisión de la revisión humana: si la aprobación humana se usa para las acciones correctas
La gobernanza es útil cuando reduce las reversiones, previene incidentes repetidos, reduce las revisiones innecesarias y hace que el comportamiento del agente sea más fácil de probar.
De lo contrario, se convierte en teatro de cumplimiento.
9. La capa de gobernanza también tiene riesgos
Una capa de gobernanza también puede fallar.
Puede estar mal configurada. Las políticas pueden volverse obsoletas. La prueba puede ser incompleta. Las puertas pueden bloquear en exceso. Los atacantes pueden apuntar al plano de control. Si almacena demasiados datos sensibles, se convierte en un punto de concentración de riesgos.
Por lo tanto, la capa de gobernanza misma necesita disciplina:
- Mínimo privilegio por defecto Los agentes solo deberían recibir los permisos que necesitan, por el tiempo que los necesitan.
- Fallo cerrado para acciones de alto impacto Si la acción puede causar daño grave, la falta de prueba debería detener la ejecución.
- Fallo suave para automatización de bajo riesgo No todas las acciones merecen el mismo nivel de fricción.
- Evidencia legible por humanos, política legible por máquinas Los operadores necesitan entender la decisión. Los sistemas necesitan hacerla cumplir.
- Aprendizaje a partir de resultados reales Sin cierre de resultados, el sistema acumula registros, no juicio.
10. Conclusión
Los agentes de IA empujan al software hacia un nuevo modelo operativo.
Pueden elegir herramientas, coordinarse con otros agentes, modificar sistemas y crear consecuencias.
En ese modelo, la gobernanza no es una capa añadida después del despliegue. Pertenece al interior del tiempo de ejecución.
La memoria, la observabilidad, la evaluación y la revisión humana son importantes. Pero cada una resuelve solo una parte del problema.
Una capa de gobernanza las conecta en un bucle de acción responsable:
política antes de la acción
prueba antes de la ejecución
autoridad durante la acción
resultado después de la acción
aprendizaje en toda la flota
Esa es la tesis detrás de Marrow.
Las flotas de agentes de IA no solo necesitan recordar más.
Necesitan mejor juicio antes de actuar.
Referencias
- NIST. Marco de Gestión de Riesgos de IA
- NIST. Perfil de IA Generativa, NIST AI 600-1
- OCDE. Principios de IA de la OCDE
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 9: Sistema de gestión de riesgos
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 12: Mantenimiento de registros
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 14: Supervisión humana
- Servicio de Atención de la Ley de IA de la Comisión Europea. Artículo 17: Sistema de gestión de calidad
