Agentes de IA estão deixando de responder perguntas para tomar ações.
Essa mudança altera completamente o modelo de risco.
Chatbots produzem texto. Agentes operam sistemas.
Eles podem ler e-mails, chamar APIs, atualizar registros de clientes, implantar código, criar tickets, aprovar etapas de workflow, coordenar com outros agentes e armazenar novos conhecimentos na memória de longo prazo.
Isso significa que a pergunta central não é mais:
Esta resposta está correta?
E sim:
Este agente deve ter permissão para agir agora?
Essa é a pergunta que uma camada de governança existe para responder.
1. Memória é útil. Não é governança.
A memória ajuda agentes a preservar contexto entre sessões.
Ajuda-os a lembrar preferências de usuários, trabalhos anteriores, saídas de ferramentas e decisões passadas. Isso importa. Mas a memória não decide:
- quais fatos podem entrar na memória
- quais memórias estão desatualizadas ou envenenadas
- quais ações exigem aprovação
- qual etapa do workflow deve vir em seguida
- qual prova é necessária antes da execução
- qual agente pode usar qual informação
Em sistemas de agentes em produção, o problema mais difícil muitas vezes não é a recuperação. É a autoridade.
A memória ajuda um agente a lembrar.
A governança ajuda-o a escolher o que lhe é permitido fazer.
É nessa distinção que a Marrow se situa.
A Marrow não é apenas uma camada de memória. É uma camada de julgamento para frotas de agentes de IA.
2. Observabilidade explica o passado. Agentes precisam de controle antes do futuro.
Observabilidade é necessária. Equipes precisam de rastros, logs, avaliações, anotações, alertas e dashboards.
Mas a visibilidade posterior ao fato não impede uma ação ruim antes que ela aconteça.
Se um agente implanta código inseguro, envia um e-mail confidencial, aprova o pagamento errado ou pula uma etapa obrigatória do workflow, o dashboard pode explicar o incidente depois. Mas não necessariamente o previne.
Para workflows de alto impacto, o sinal precisa chegar ao agente antes da ação:
- nível de risco
- prova necessária
- restrições de política
- aprovação do responsável
- plano de rollback
- próxima etapa exata
- permitir, alertar, revisar ou bloquear
Esta é a lacuna entre observabilidade e governança.
Dashboards informam humanos.
A governança informa agentes antes de agirem.
3. Avaliação é uma fotografia. Produção é um fluxo contínuo.
A avaliação pré-implantação captura muitas falhas. Mas agentes em produção vivem em ambientes que mudam.
Prompts mudam. Ferramentas mudam. APIs mudam. Dados mudam. Políticas mudam. Outros agentes na frota mudam.
Um benchmark pode dizer que um agente tem bom desempenho sob um conjunto de condições. A produção faz uma pergunta diferente:
Este agente continuará a tomar a decisão correta à medida que o ambiente muda?
Pesquisas sobre agentes que usam ferramentas apontam na mesma direção.
O ToolEmu estuda agentes de modelo de linguagem que usam ferramentas de alto risco e mostra que falhas de agentes podem criar graves consequências no mundo real. AgentHarm e CUAHarm focam em comportamentos prejudiciais quando agentes podem usar ferramentas ou operar computadores. Outras pesquisas mostram que agentes podem compreender o risco abstratamente, mas ainda assim falham em evitar ações arriscadas em trajetórias concretas.
A lição é prática:
A segurança não pode viver apenas no modelo ou apenas num benchmark.
Agentes em produção precisam de controle em tempo de execução.
4. Governança está a tornar-se infraestrutura de IA.
Os principais frameworks de governança de IA estão a convergir para a mesma ideia: a IA responsável tem de se tornar operacional.
Não apenas princípios.
Não apenas PDFs de políticas.
Não apenas dashboards.
A governança operacional exige:
- gestão de risco documentada
- registo automático
- supervisão humana para decisões de alto impacto
- gestão da qualidade ao longo do ciclo de vida
- rastreabilidade do comportamento do sistema
- monitorização pós-comercialização
- responsabilização por resultados adversos
Isto é visível no NIST AI RMF, no Perfil de IA Generativa do NIST, na ISO/IEC 42001, nos Princípios de IA da OCDE, no AI Act da UE, na taxonomia de risco de IA agêntica do OWASP e na orientação de 2026 do Five Eyes sobre serviços de IA agêntica.
A direção é clara.
Os sistemas empresariais de IA precisam de evidência, controlo, rastreabilidade e responsabilização ao longo da sua vida operacional.
Para agentes de IA, isso significa que a governança tem de entrar no tempo de execução.
5. O que uma camada de governança de agentes deve fazer
Uma camada de governança é um plano de controlo entre o tempo de execução do agente e os sistemas que o agente pode afetar.
Ela recebe a ação pretendida do agente, avalia-a contra política, permissão, risco, prova e resultados anteriores, e depois devolve uma decisão executável:
permitir
alertar
revisão necessária
bloquear
Uma camada de governança séria precisa de nove funções.
- Identidade e autoridade com âmbito definido
Cada agente precisa de uma identidade clara, permissões limitadas e credenciais com âmbito definido.
Uma frota não pode ser governada se cada agente partilhar a mesma chave de API.
- Política em tempo de execução
As políticas devem tornar-se condições de tempo de execução executáveis.
Qual etapa vem primeiro?
Qual prova é necessária?
Qual ação precisa sempre de revisão?
Qual ação nunca deve ser executada automaticamente?
- Portais de risco
O sistema deve classificar as ações por impacto, reversibilidade, sensibilidade e contexto de negócio.
Trabalho de baixo risco pode ser executado automaticamente. Trabalho de alto risco pode exigir prova, aprovação ou bloqueio.
- Pacotes de prova
Antes da ação, o agente deve anexar evidência.
Exemplos:
- cobertura de testes
- plano de rollback
- cláusula de política
- verificação de identidade
- aprovação clínica
- revisão de fatura
- autorização do supervisor
- Encaminhamento de aprovação
A revisão humana não deve ser uma fila manual para tudo.
Deve ser um ponto de verificação condicional para ações onde o custo do erro é elevado.
- Auditoria e proveniência
Cada decisão deve ser rastreável.
Quem a iniciou?
Por que foi permitida ou bloqueada?
Qual política foi aplicada?
Qual prova foi anexada?
Quem a aprovou?
O que aconteceu a seguir?
- Encerramento do resultado
A governança não termina com permitir ou bloquear.
O sistema deve fechar o ciclo:
- a ação teve sucesso?
- falhou?
- foi necessário rollback?
- quem a aprovou?
- que lição deve ser armazenada?
- Governança de escrita na memória
Nem todo registo é conhecimento.
Nem todo conhecimento deve influenciar todos os agentes.
Resultados reais devem tornar-se memória apenas através de escrita controlada.
- Aprendizagem ao nível da frota
A camada de governança deve acompanhar o comportamento em toda a frota:
- desvio dos workflows de base
- loops de repetição
- falhas repetidas
- padrões que devem alertar agentes futuros
É aqui que a governança se torna mais do que restrição. Torna-se aprendizagem.
6. Marrow como caso de estudo de governança
A Marrow é concebida em torno de um ciclo operacional simples:
orientar→pensar→agir→verificar→comprometerorient -> pensar -> agir -> verificar -> comprometer
Cada etapa tem uma função de governança.
Orientar traz à superfície histórico relevante, avisos e restrições.
Pensar avalia a ação pretendida antes que ela aconteça.
Agir executa com contexto e salvaguardas anexadas.
Verificar inspeciona se falta prova ou encerramento.
Comprometer regista o resultado para que a próxima decisão melhore.
Esta é a diferença central entre memória e julgamento.
A memória pergunta:
O que o agente sabe?
A Marrow pergunta:
O agente deve agir e em que condições?
As suas superfícies de produto mapeiam diretamente para a governança em tempo de execução:
- decisionBrief() dá ao agente contexto pré-ação.
- workflowGate() devolve permitir, alertar, revisão necessária ou bloquear.
- runGuarded() envolve trabalho arriscado com orientação pré-ação e encerramento do resultado.
- agentRuntime() injeta lições e requisitos de prova no contexto do agente.
- agentStatus() mostra se a Marrow está ativa e a recolher sinal útil.
- valueReport() transforma governança em prova visível para o responsável.
Por outras palavras:
A Marrow transforma resultados passados em julgamento antes da ação.
7. Um exemplo concreto: a má implantação
Imagine um agente de CI/CD prestes a implantar uma alteração num webhook de pagamento.
A compilação passa.
O ramo está pronto.
O agente está prestes a publicar em produção.
Mas o pull request está a faltar três coisas:
- cobertura de testes
- plano de rollback
- teste de fumo
Sem governança, a implantação pode avançar.
As falhas de pagamento aparecem horas depois. Os clientes são afetados. O engenheiro de plantão faz rollback manualmente. O incidente torna-se mais uma autópsia.
Com governança, o portal do workflow é executado antes da implantação.
Devolve:
nível de risco: alto
pacote de prova em falta
implantação bloqueada
O agente não está apenas a registar mais. Está a ser forçado a parar no ponto certo.
Esse é o valor da governança pré-ação.
8. As métricas certas para a governança de agentes
Uma camada de governança não deve apenas contar registos.
Deve medir se a frota está a tornar-se mais segura, mais consistente e mais fácil de auditar.
Métricas úteis incluem:
- Cobertura de ação: quantas ações de alto impacto passam por um portal
- Taxa de conclusão de prova: quantas ações incluem prova necessária antes da execução
- Taxa de encerramento de resultado: quantas decisões são fechadas com um resultado real
- Prevenção de falhas repetidas: com que frequência padrões de falha conhecidos são evitados
- Gravidade do desvio: o quão longe os agentes se movem dos workflows aprovados
- Taxa de falsos positivos: com que frequência o portal bloqueia demais
- Taxa de falsos negativos: com que frequência ações perigosas passam despercebidas
- Tempo de reconstrução de auditoria: quanto tempo leva para explicar uma decisão
- Precisão da revisão humana: se a aprovação humana é usada para as ações certas
A governança é útil quando reduz rollbacks, previne incidentes repetidos, reduz revisão desnecessária e torna o comportamento do agente mais fácil de comprovar.
Caso contrário, torna-se teatro de conformidade.
9. A camada de governança também tem riscos
Uma camada de governança também pode falhar.
Pode ser mal configurada. As políticas podem tornar-se desatualizadas. A prova pode ser incompleta. Os portais podem bloquear em excesso. Atacantes podem visar o plano de controlo. Se armazenar demasiados dados sensíveis, torna-se um ponto de concentração de risco.
Portanto, a própria camada de governança precisa de disciplina:
- Menor privilégio por defeito Os agentes devem receber apenas as permissões de que precisam, durante o tempo que precisam.
- Fechar em caso de falha para ações de alto impacto Se a ação pode causar danos graves, a falta de prova deve parar a execução.
- Falhar suavemente para automação de baixo risco Nem toda ação merece o mesmo nível de atrito.
- Evidência legível por humanos, política legível por máquinas Os operadores precisam de compreender a decisão. Os sistemas precisam de a aplicar.
- Aprender com resultados reais Sem encerramento do resultado, o sistema acumula registos, não julgamento.
10. Conclusão
Os agentes de IA empurram o software para um novo modelo operacional.
Eles podem escolher ferramentas, coordenar com outros agentes, modificar sistemas e criar consequências.
Nesse modelo, a governança não é uma camada adicionada após a implantação. Pertence ao tempo de execução.
Memória, observabilidade, avaliação e revisão humana são importantes. Mas cada uma resolve apenas parte do problema.
Uma camada de governança liga-as num ciclo de ação responsável:
política antes da ação prova antes da execução autoridade durante a ação resultado após a ação aprendizagem em toda a frota
Essa é a tese por trás da Marrow.
As frotas de agentes de IA não precisam simplesmente de se lembrar mais.
Precisam de melhor julgamento antes de agir.
Referências
- NIST. AI Risk Management Framework
- NIST. Generative AI Profile, NIST AI 600-1
- OCDE. OECD AI Principles
- Balcão de Atendimento do AI Act da Comissão Europeia. Artigo 9: Sistema de gestão de risco
- Balcão de Atendimento do AI Act da Comissão Europeia. Artigo 12: Manutenção de registos
- Balcão de Atendimento do AI Act da Comissão Europeia. Artigo 14: Supervisão humana
- Balcão de Atendimento do AI Act da Comissão Europeia. Artigo 17: Sistema de gestão da qualidade
