KI-Agenten bewegen sich von der Beantwortung von Fragen hin zum Ergreifen von Aktionen.
Diese eine Verschiebung verändert das gesamte Risikomodell.
Chatbots produzieren Text. Agenten betreiben Systeme.
Sie können E-Mails lesen, APIs aufrufen, Kundendatensätze aktualisieren, Code bereitstellen, Tickets erstellen, Workflow-Schritte genehmigen, mit anderen Agenten koordinieren und neues Wissen im Langzeitgedächtnis speichern.
Das bedeutet, dass die Kernfrage nicht mehr lautet:
Ist diese Antwort korrekt?
Sie lautet:
Sollte dieser Agent jetzt handeln dürfen?
Das ist die Frage, die eine Governance-Ebene zu beantworten hat.
1. Gedächtnis ist nützlich. Es ist keine Governance.
Gedächtnis hilft Agenten, Kontext über Sitzungen hinweg zu bewahren.
Es hilft ihnen, sich an Benutzerpräferenzen, vergangene Arbeiten, Tool-Ausgaben und frühere Entscheidungen zu erinnern. Das ist wichtig. Aber das Gedächtnis entscheidet nicht:
- welche Fakten ins Gedächtnis aufgenommen werden dürfen
- welche Erinnerungen veraltet oder vergiftet sind
- welche Aktionen eine Genehmigung erfordern
- welcher Workflow-Schritt als Nächstes kommen muss
- welcher Nachweis vor der Ausführung erforderlich ist
- welcher Agent welche Informationen verwenden darf
In produktiven Agentensystemen ist das schwierigere Problem oft nicht der Abruf. Es ist die Autorität.
Gedächtnis hilft einem Agenten, sich zu erinnern.
Governance hilft ihm zu wählen, was er tun darf.
Diese Unterscheidung ist der Ort, an dem Marrow sich positioniert.
Marrow ist nicht nur eine Gedächtnisschicht. Es ist eine Urteilsschicht für KI-Agentenflotten.
2. Observability erklärt die Vergangenheit. Agenten brauchen Kontrolle vor der Zukunft.
Observability ist notwendig. Teams brauchen Traces, Logs, Evaluierungen, Annotationen, Alarme und Dashboards.
Aber eine nachträgliche Sichtbarkeit stoppt eine schlechte Aktion nicht, bevor sie passiert.
Wenn ein Agent unsicheren Code bereitstellt, eine sensible E-Mail sendet, die falsche Zahlung genehmigt oder einen erforderlichen Workflow-Schritt überspringt, mag das Dashboard den Vorfall später erklären. Es verhindert ihn nicht unbedingt.
Für Workflows mit hohen Auswirkungen muss das Signal den Agenten vor der Aktion erreichen:
- Risikostufe
- erforderlicher Nachweis
- Richtlinieneinschränkungen
- Eigentümergenehmigung
- Rollback-Plan
- exakter nächster Schritt
- Zulassen, Warnen, Überprüfen oder Blockieren
Dies ist die Lücke zwischen Observability und Governance.
Dashboards informieren Menschen.
Governance informiert Agenten, bevor sie handeln.
3. Evaluation ist eine Momentaufnahme. Produktion ist ein Strom.
Die Evaluierung vor der Bereitstellung fängt viele Fehler ab. Aber Produktionsagenten leben in sich verändernden Umgebungen.
Prompts ändern sich. Tools ändern sich. APIs ändern sich. Daten ändern sich. Richtlinien ändern sich. Andere Agenten in der Flotte ändern sich.
Ein Benchmark mag sagen, dass ein Agent unter einer bestimmten Reihe von Bedingungen gut abschneidet. Die Produktion stellt eine andere Frage:
Wird dieser Agent weiterhin die richtige Entscheidung treffen, während sich die Umgebung ändert?
Die Forschung zu toolnutzenden Agenten weist in die gleiche Richtung.
ToolEmu untersucht Sprachmodell-Agenten, die risikoreiche Tools verwenden, und zeigt, dass Agentenfehler schwerwiegende reale Konsequenzen haben können. AgentHarm und CUAHarm konzentrieren sich auf schädliches Verhalten, sobald Agenten Tools verwenden oder Computer bedienen können. Andere Forschungen zeigen, dass Agenten Risiken vielleicht abstrakt verstehen, aber dennoch in konkreten Verläufen scheitern, riskante Aktionen zu vermeiden.
Die Lehre ist praktisch:
Sicherheit kann nicht nur im Modell oder nur in einem Benchmark leben.
Produktionsagenten brauchen Laufzeitkontrolle.
4. Governance wird zur KI-Infrastruktur.
Wichtige KI-Governance-Rahmenwerke konvergieren auf dieselbe Idee: verantwortungsvolle KI muss operational werden.
Nicht nur Prinzipien.
Nicht nur Richtlinien-PDFs.
Nicht nur Dashboards.
Operationale Governance erfordert:
- dokumentiertes Risikomanagement
- automatische Protokollierung
- menschliche Aufsicht für Entscheidungen mit hohen Auswirkungen
- Qualitätsmanagement über den gesamten Lebenszyklus
- Rückverfolgbarkeit des Systemverhaltens
- Überwachung nach dem Inverkehrbringen
- Rechenschaftspflicht für nachteilige Ergebnisse
Dies ist sichtbar im NIST AI RMF, NISTs Generative AI Profile, ISO/IEC 42001, den OECD AI Principles, dem EU AI Act, OWASPs agentischer KI-Risikotaxonomie und dem Fünf-Augen-Leitfaden 2026 zu agentischen KI-Diensten.
Die Richtung ist klar.
Enterprise-KI-Systeme benötigen Nachweise, Kontrolle, Rückverfolgbarkeit und Rechenschaftspflicht über ihre Betriebsdauer.
Für KI-Agenten bedeutet das, dass Governance in die Laufzeit verlagert werden muss.
5. Was eine Agenten-Governance-Ebene tun sollte
Eine Governance-Ebene ist eine Kontrollebene zwischen der Agentenlaufzeit und den Systemen, die der Agent beeinflussen kann.
Sie empfängt die beabsichtigte Aktion des Agenten, bewertet sie anhand von Richtlinie, Berechtigung, Risiko, Nachweis und früheren Ergebnissen und gibt dann eine durchsetzbare Entscheidung zurück:
zulassen
warnen
Überprüfung erforderlich
blockieren
Eine ernsthafte Governance-Ebene benötigt neun Funktionen.
- Identität und begrenzte Autorität
Jeder Agent braucht eine klare Identität, eingeschränkte Berechtigungen und begrenzte Anmeldeinformationen.
Eine Flotte kann nicht regiert werden, wenn jeder Agent denselben API-Schlüssel teilt.
- Laufzeitrichtlinie
Richtlinien müssen zu ausführbaren Laufzeitbedingungen werden.
Welcher Schritt kommt zuerst?
Welcher Nachweis ist erforderlich?
Welche Aktion braucht immer eine Überprüfung?
Welche Aktion sollte niemals automatisch ausgeführt werden?
- Risikotore
Das System sollte Aktionen nach Auswirkung, Umkehrbarkeit, Sensibilität und Geschäftskontext klassifizieren.
Risikoarme Arbeiten können automatisch ausgeführt werden. Risikoreiche Arbeiten können Nachweise, Genehmigung oder Blockierung erfordern.
- Nachweispakete
Vor der Aktion sollte der Agent Belege anhängen.
Beispiele:
- Testabdeckung
- Rollback-Plan
- Richtlinienklausel
- Identitätsüberprüfung
- klinische Genehmigung
- Rechnungsprüfung
- Vorgesetztengenehmigung
- Genehmigungsweiterleitung
Die menschliche Überprüfung sollte nicht für alles eine manuelle Warteschlange sein.
Sie sollte ein bedingter Kontrollpunkt für Aktionen sein, bei denen die Kosten eines Fehlers hoch sind.
- Prüfung und Herkunft
Jede Entscheidung sollte nachvollziehbar sein.
Wer hat sie initiiert?
Warum wurde sie zugelassen oder blockiert?
Welche Richtlinie wurde angewandt?
Welcher Nachweis wurde angehängt?
Wer hat sie genehmigt?
Was geschah als Nächstes?
- Ergebnisabschluss
Governance endet nicht mit Zulassen oder Blockieren.
Das System muss den Kreislauf schließen:
- war die Aktion erfolgreich?
- ist sie fehlgeschlagen?
- war ein Rollback nötig?
- wer hat sie genehmigt?
- welche Lehre sollte gespeichert werden?
- Governance des Gedächtnisschreibens
Nicht jedes Protokoll ist Wissen.
Nicht jedes Wissen sollte jeden Agenten beeinflussen.
Reale Ergebnisse sollten nur durch kontrolliertes Schreiben zum Gedächtnis werden.
- Lernen auf Flottenebene
Die Governance-Ebene sollte das Verhalten in der gesamten Flotte verfolgen:
- Abweichung von Basislinien-Workflows
- Wiederholungsschleifen
- wiederholte Fehler
- Muster, die zukünftige Agenten warnen sollten
Hier wird Governance mehr als Einschränkung. Es wird Lernen.
6. Marrow als Governance-Fallstudie
Marrow ist um eine einfache Betriebsschleife herum konzipiert:
orientieren -> denken -> handeln -> überprüfen -> festschreiben
Jeder Schritt hat eine Governance-Funktion.
Orientieren fördert relevante Vorgeschichte, Warnungen und Einschränkungen zutage.
Denken bewertet die beabsichtigte Aktion, bevor sie stattfindet.
Handeln führt mit Kontext und Schutzvorrichtungen aus.
Überprüfen prüft, ob Nachweise oder Abschluss fehlen.
Festschreiben zeichnet das Ergebnis auf, damit die nächste Entscheidung besser wird.
Dies ist der wesentliche Unterschied zwischen Gedächtnis und Urteilsvermögen.
Das Gedächtnis fragt:
Was weiß der Agent?
Marrow fragt:
Sollte der Agent handeln, und unter welchen Bedingungen?
Seine Produktoberflächen bilden direkt auf die Laufzeit-Governance ab:
- decisionBrief() gibt dem Agenten Kontext vor der Aktion.
- workflowGate() gibt Zulassen, Warnen, Überprüfung erforderlich oder Blockieren zurück.
- runGuarded() umgibt riskante Arbeit mit Anleitung vor der Aktion und Ergebnisabschluss.
- agentRuntime() injiziert Lehren und Nachweisanforderungen in den Agentenkontext.
- agentStatus() zeigt an, ob Marrow aktiv ist und verwertbare Signale sammelt.
- valueReport() verwandelt Governance in einen für den Eigentümer sichtbaren Nachweis.
Mit anderen Worten:
Marrow verwandelt vergangene Ergebnisse in ein Urteil vor der Aktion.
7. Ein konkretes Beispiel: der schlechte Deploy
Stellen Sie sich einen CI/CD-Agenten vor, der kurz davor ist, eine Änderung am Zahlungs-Webhook bereitzustellen.
Der Build besteht.
Der Branch ist bereit.
Der Agent ist kurz davor, in die Produktion zu pushen.
Aber dem Pull-Request fehlen drei Dinge:
- Testabdeckung
- Rollback-Plan
- Rauchtests
Ohne Governance könnte der Deploy durchgehen.
Die Zahlungsausfälle erscheinen Stunden später. Kunden sind betroffen. Der Bereitschaftsingenieur macht manuell einen Rollback. Der Vorfall wird zu einer weiteren Autopsie.
Mit Governance läuft das Workflow-Gate vor dem Deploy.
Es gibt zurück:
Risikostufe: hoch
Nachweispaket fehlt
Bereitstellung blockiert
Der Agent protokolliert nicht nur mehr. Er wird gezwungen, am richtigen Punkt anzuhalten.
Das ist der Wert von Governance vor der Aktion.
8. Die richtigen Metriken für Agenten-Governance
Eine Governance-Ebene sollte nicht nur Protokolle zählen.
Sie sollte messen, ob die Flotte sicherer, konsistenter und einfacher zu prüfen wird.
Nützliche Metriken umfassen:
- Aktionsabdeckung: wie viele risikoreiche Aktionen ein Gate passieren
- Nachweisabschlussrate: wie viele Aktionen den erforderlichen Nachweis vor der Ausführung enthalten
- Ergebnisabschlussrate: wie viele Entscheidungen mit einem tatsächlichen Ergebnis abgeschlossen werden
- Verhinderte Wiederholungsfehler: wie oft bekannte Fehlermuster vermieden werden
- Abweichungsschwere: wie weit Agenten von genehmigten Workflows abweichen
- Falsch-Positiv-Rate: wie oft das Gate zu viel blockiert
- Falsch-Negativ-Rate: wie oft gefährliche Aktionen durchschlüpfen
- Prüf-Rekonstruktionszeit: wie lange es dauert, eine Entscheidung zu erklären
- Menschliche Überprüfungspräzision: ob die menschliche Genehmigung für die richtigen Aktionen verwendet wird
Governance ist nützlich, wenn sie Rollbacks reduziert, wiederholte Vorfälle verhindert, unnötige Überprüfungen einschränkt und das Verhalten von Agenten leichter nachweisbar macht.
Sonst wird sie zur Compliance-Theater.
9. Die Governance-Ebene hat auch Risiken
Eine Governance-Ebene kann ebenfalls versagen.
Sie kann falsch konfiguriert sein. Richtlinien können veralten. Nachweise können unvollständig sein. Gates können übermäßig blockieren. Angreifer können die Kontrollebene angreifen. Wenn sie zu viele sensible Daten speichert, wird sie zu einem Risikokonzentrationspunkt.
Also braucht die Governance-Ebene selbst Disziplin:
- Standardmäßig geringste Privilegien Agenten sollten nur die Berechtigungen erhalten, die sie benötigen, und nur für die Zeit, die sie sie benötigen.
- Standardmäßig geschlossen bei risikoreichen Aktionen Wenn die Aktion ernsthaften Schaden verursachen kann, sollte ein fehlender Nachweis die Ausführung stoppen.
- Standardmäßig weicher Fehlschlag bei risikoarmer Automatisierung Nicht jede Aktion verdient das gleiche Maß an Reibung.
- Menschlich lesbare Nachweise, maschinenlesbare Richtlinie Bediener müssen die Entscheidung verstehen. Systeme müssen sie durchsetzen.
- Lernen aus tatsächlichen Ergebnissen Ohne Ergebnisabschluss sammelt das System Protokolle, nicht Urteilsvermögen.
10. Fazit
KI-Agenten stoßen Software in ein neues Betriebsmodell.
Sie können Tools auswählen, mit anderen Agenten koordinieren, Systeme modifizieren und Konsequenzen erzeugen.
In diesem Modell ist Governance keine Schicht, die nach der Bereitstellung hinzugefügt wird. Sie gehört in die Laufzeit.
Gedächtnis, Observability, Evaluierung und menschliche Überprüfung sind alle wichtig. Aber jede löst nur einen Teil des Problems.
Eine Governance-Ebene verbindet sie zu einem rechenschaftspflichtigen Aktionskreislauf:
Richtlinie vor Aktion Nachweis vor Ausführung Autorität während der Aktion Ergebnis nach der Aktion Lernen über die Flotte hinweg
Das ist die These hinter Marrow.
KI-Agentenflotten müssen sich nicht einfach nur mehr merken.
Sie brauchen ein besseres Urteilsvermögen, bevor sie handeln.
Referenzen
- NIST. KI-Risikomanagement-Rahmenwerk
- NIST. Generatives KI-Profil, NIST AI 600-1
- OECD. OECD-KI-Prinzipien
- Service Desk zum KI-Gesetz der Europäischen Kommission. Artikel 9: Risikomanagementsystem
- Service Desk zum KI-Gesetz der Europäischen Kommission. Artikel 12: Aufzeichnungspflichten
- Service Desk zum KI-Gesetz der Europäischen Kommission. Artikel 14: Menschliche Aufsicht
- Service Desk zum KI-Gesetz der Europäischen Kommission. Artikel 17: Qualitätsmanagementsystem
