Agentes de IA estão passando de responder perguntas para executar ações.
Essa simples mudança altera todo o modelo de risco.
Chatbots produzem texto. Agentes operam sistemas.
Eles podem ler e-mails, chamar APIs, atualizar registros de clientes, implantar código, criar tickets, aprovar etapas de workflow, coordenar com outros agentes e armazenar novos conhecimentos na memória de longo prazo.
Isso significa que a pergunta central não é mais:
Esta resposta está correta?
É:
Este agente deve ter permissão para agir agora?
Essa é a pergunta que uma camada de governança existe para responder.
1. Memória é útil. Não é governança.
A memória ajuda agentes a preservar contexto entre sessões.
Ela os ajuda a lembrar preferências de usuários, trabalhos anteriores, saídas de ferramentas e decisões passadas. Isso é importante. Mas a memória não decide:
- quais fatos podem entrar na memória
- quais memórias estão desatualizadas ou corrompidas
- quais ações exigem aprovação
- qual etapa do workflow deve vir a seguir
- qual prova é necessária antes da execução
- qual agente pode usar qual informação
Em sistemas de agentes em produção, o problema mais difícil geralmente não é a recuperação. É a autoridade.
A memória ajuda um agente a lembrar.
A governança ajuda a escolher o que ele tem permissão para fazer.
Essa distinção é onde a Marrow se posiciona.
A Marrow não é apenas uma camada de memória. É uma camada de julgamento para frotas de agentes de IA.
2. Observabilidade explica o passado. Agentes precisam de controle antes do futuro.
Observabilidade é necessária. Equipes precisam de rastros, logs, avaliações, anotações, alertas e dashboards.
Mas a visibilidade posterior não impede uma ação ruim antes que ela aconteça.
Se um agente implantar código inseguro, enviar um e-mail confidencial, aprovar o pagamento errado ou pular uma etapa obrigatória do workflow, o dashboard pode explicar o incidente depois. Isso não necessariamente o impede.
Para workflows de alto impacto, o sinal precisa chegar ao agente antes da ação:
- nível de risco
- prova necessária
- restrições de política
- aprovação do responsável
- plano de reversão
- próxima etapa exata
- permitir, alertar, revisar ou bloquear
Esta é a lacuna entre observabilidade e governança.
Dashboards informam humanos.
A governança informa os agentes antes de agirem.
3. Avaliação é um instantâneo. Produção é um fluxo contínuo.
A avaliação pré-implantação detecta muitas falhas. Mas agentes em produção vivem em ambientes que mudam.
Prompts mudam. Ferramentas mudam. APIs mudam. Dados mudam. Políticas mudam. Outros agentes na frota mudam.
Um benchmark pode dizer que um agente tem bom desempenho sob um conjunto de condições. A produção faz uma pergunta diferente:
Este agente continuará tomando a decisão certa à medida que o ambiente mudar?
Pesquisas sobre agentes que usam ferramentas apontam na mesma direção.
O ToolEmu estuda agentes de modelo de linguagem usando ferramentas de alto risco e mostra que falhas de agentes podem criar consequências severas no mundo real. AgentHarm e CUAHarm focam em comportamento prejudicial quando agentes podem usar ferramentas ou operar computadores. Outras pesquisas mostram que agentes podem entender o risco abstratamente, mas ainda falham em evitar ações arriscadas em trajetórias concretas.
A lição é prática:
A segurança não pode viver apenas no modelo ou apenas em um benchmark.
Agentes em produção precisam de controle em tempo de execução.
4. Governança está se tornando infraestrutura de IA.
Os principais frameworks de governança de IA estão convergindo para a mesma ideia: IA responsável precisa se tornar operacional.
Não apenas princípios.
Não apenas PDFs de políticas.
Não apenas dashboards.
A governança operacional exige:
- gestão de risco documentada
- registro automático
- supervisão humana para decisões de alto impacto
- gestão da qualidade ao longo do ciclo de vida
- rastreabilidade do comportamento do sistema
- monitoramento pós-mercado
- responsabilidade por resultados adversos
Isso é visível no NIST AI RMF, no Perfil de IA Generativa do NIST, na ISO/IEC 42001, nos Princípios de IA da OCDE, no Ato de IA da UE, na taxonomia de risco de IA agentiva do OWASP e no guia de 2026 do Five Eyes sobre serviços de IA agentiva.
A direção é clara.
Sistemas de IA empresariais precisam de evidência, controle, rastreabilidade e responsabilidade ao longo de sua vida operacional.
Para agentes de IA, isso significa que a governança tem que se mover para o tempo de execução.
5. O que uma camada de governança de agentes deve fazer
Uma camada de governança é um plano de controle entre o tempo de execução do agente e os sistemas que o agente pode afetar.
Ela recebe a ação pretendida do agente, avalia-a contra política, permissão, risco, prova e resultados anteriores, e então retorna uma decisão executável:
permitir
alertar
revisão necessária
bloquear
Uma camada de governança séria precisa de nove funções.
- Identidade e autoridade com escopo
Todo agente precisa de uma identidade clara, permissões limitadas e credenciais com escopo.
Uma frota não pode ser governada se todo agente compartilha a mesma chave de API.
- Política de tempo de execução
As políticas devem se tornar condições executáveis em tempo de execução.
Qual etapa vem primeiro?
Qual prova é necessária?
Qual ação sempre precisa de revisão?
Qual ação nunca deve ser executada automaticamente?
- Portões de risco
O sistema deve classificar as ações por impacto, reversibilidade, sensibilidade e contexto de negócios.
Trabalho de baixo risco pode ser executado automaticamente. Trabalho de alto risco pode exigir prova, aprovação ou bloqueio.
- Pacotes de prova
Antes da ação, o agente deve anexar evidências.
Exemplos:
- cobertura de teste
- plano de reversão
- cláusula de política
- verificação de identidade
- aprovação clínica
- revisão de fatura
- autorização do supervisor
- Roteamento de aprovação
A revisão humana não deve ser uma fila manual para tudo.
Deve ser um ponto de verificação condicional para ações onde o custo do erro é alto.
- Auditoria e proveniência
Cada decisão deve ser rastreável.
Quem a iniciou?
Por que foi permitida ou bloqueada?
Qual política foi aplicada?
Qual prova foi anexada?
Quem a aprovou?
O que aconteceu depois?
- Fechamento de resultado
A governança não termina em permitir ou bloquear.
O sistema deve fechar o ciclo:
- a ação teve sucesso?
- falhou?
- foi necessário reverter?
- quem aprovou?
- qual lição deve ser armazenada?
- Governança de gravação de memória
Nem todo log é conhecimento.
Nem todo conhecimento deve influenciar todo agente.
Resultados reais devem se tornar memória apenas por meio de gravação controlada.
- Aprendizado em toda a frota
A camada de governança deve rastrear o comportamento em toda a frota:
- desvio dos fluxos de trabalho aprovados
- loops de repetição
- falhas repetidas
- padrões que devem alertar agentes futuros
É aqui que a governança se torna mais do que restrição. Torna-se aprendizado.
6. Marrow como estudo de caso de governança
A Marrow é projetada em torno de um loop operacional simples:
orientar->pensar->agir->verificar->consolidar
Cada etapa tem uma função de governança.
Orientar traz à tona o histórico relevante, avisos e restrições.
Pensar avalia a ação pretendida antes que ela aconteça.
Agir executa com contexto e salvaguardas anexados.
Verificar inspeciona se a prova ou o fechamento estão faltando.
Consolidar registra o resultado para que a próxima decisão melhore.
Esta é a diferença central entre memória e julgamento.
A memória pergunta:
O que o agente sabe?
A Marrow pergunta:
O agente deve agir e sob quais condições?
Suas superfícies de produto mapeiam diretamente para a governança em tempo de execução:
- decisionBrief() fornece ao agente contexto pré-ação.
- workflowGate() retorna permitir, alertar, revisão necessária ou bloquear.
- runGuarded() envolve trabalho arriscado com orientação pré-ação e fechamento de resultado.
- agentRuntime() injeta lições e requisitos de prova no contexto do agente.
- agentStatus() mostra se a Marrow está ativa e coletando sinal útil.
- valueReport() transforma governança em prova visível para o proprietário.
Em outras palavras:
A Marrow transforma resultados passados em julgamento pré-ação.
7. Um exemplo concreto: a má implantação
Imagine um agente de CI/CD prestes a implantar uma alteração em um webhook de pagamento.
O build passa.
O branch está pronto.
O agente está prestes a enviar para produção.
Mas o pull request está faltando três coisas:
- cobertura de teste
- plano de reversão
- teste de fumaça
Sem governança, a implantação pode prosseguir.
As falhas de pagamento aparecem horas depois. Clientes são afetados. O engenheiro de plantão reverte manualmente. O incidente se torna mais um postmortem.
Com governança, o portão de workflow é executado antes da implantação.
Ele retorna:
nível de risco: alto
pacote de prova ausente
implantação bloqueada
O agente não está apenas registrando mais. Ele está sendo forçado a parar no ponto certo.
Esse é o valor da governança pré-ação.
8. As métricas certas para a governança de agentes
Uma camada de governança não deve apenas contar logs.
Ela deve medir se a frota está se tornando mais segura, mais consistente e mais fácil de auditar.
Métricas úteis incluem:
- Cobertura de ação: quantas ações de alto impacto passam por um portão
- Taxa de conclusão de prova: quantas ações incluem a prova necessária antes da execução
- Taxa de fechamento de resultado: quantas decisões são fechadas com um resultado real
- Prevenção de falhas repetidas: com que frequência padrões de falha conhecidos são evitados
- Gravidade do desvio: o quão longe os agentes se desviam dos fluxos de trabalho aprovados
- Taxa de falso positivo: com que frequência o portão bloqueia demais
- Taxa de falso negativo: com que frequência ações perigosas passam despercebidas
- Tempo de reconstrução de auditoria: quanto tempo leva para explicar uma decisão
- Precisão da revisão humana: se a revisão humana é usada para as ações certas
A governança é útil quando reduz reversões, previne incidentes repetidos, restringe revisões desnecessárias e torna o comportamento do agente mais fácil de provar.
Caso contrário, torna-se teatro de conformidade.
9. A camada de governança também tem riscos
Uma camada de governança também pode falhar.
Ela pode ser mal configurada. As políticas podem se tornar desatualizadas. A prova pode ser incompleta. Os portões podem bloquear em excesso. Os atacantes podem ter como alvo o plano de controle. Se armazenar muitos dados confidenciais, torna-se um ponto de concentração de risco.
Portanto, a própria camada de governança precisa de disciplina:
- Privilégio mínimo por padrão Os agentes devem receber apenas as permissões de que precisam, pelo tempo que precisam delas.
- Fechar para falha para ações de alto impacto Se a ação pode causar danos graves, a prova ausente deve interromper a execução.
- Falha suave para automação de baixo risco Nem toda ação merece o mesmo nível de atrito.
- Evidência legível por humanos, política legível por máquinas Os operadores precisam entender a decisão. Os sistemas precisam aplicá-la.
- Aprendendo com resultados reais Sem o fechamento do resultado, o sistema acumula logs, não julgamento.
10. Conclusão
Agentes de IA empurram o software para um novo modelo operacional.
Eles podem escolher ferramentas, coordenar com outros agentes, modificar sistemas e criar consequências.
Nesse modelo, a governança não é uma camada adicionada após a implantação. Ela pertence ao tempo de execução.
Memória, observabilidade, avaliação e revisão humana são importantes. Mas cada uma resolve apenas parte do problema.
Uma camada de governança as conecta em um ciclo de ação responsável:
política antes da ação prova antes da execução autoridade durante a ação resultado após a ação aprendizado em toda a frota
Essa é a tese por trás da Marrow.
Frotas de agentes de IA não precisam simplesmente se lembrar mais.
Elas precisam de melhor julgamento antes de agir.
Referências
- NIST. AI Risk Management Framework
- NIST. Perfil de IA Generativa, NIST AI 600-1
- OCDE. Princípios de IA da OCDE
- Balcão de Serviços do Ato de IA da Comissão Europeia. Artigo 9: Sistema de gestão de riscos
- Balcão de Serviços do Ato de IA da Comissão Europeia. Artigo 12: Manutenção de registros
- Balcão de Serviços do Ato de IA da Comissão Europeia. Artigo 14: Supervisão humana
- Balcão de Serviços do Ato de IA da Comissão Europeia. Artigo 17: Sistema de gestão da qualidade
