Wir haben in den letzten Monaten mit Hunderten von Führungskräften gesprochen und hören immer wieder denselben Tenor: „KI bringt noch keinen ROI, aber wir sind voll dabei, also müssen wir es hinkriegen."
Die Führungskräfte wissen, dass es kein Zurück gibt. Aber ihre KI-Programme stecken in den meisten großen Unternehmen noch in der Pilotphase fest – aufgrund inkonsistenter Ausgabequalität, fehlendem Vertrauen für den Einsatz in der Praxis, Unsicherheit über Sicherheitsrisiken und steigenden Token-Kosten. Anders gefragt: Wie viele Unternehmenslenker können tatsächlich quantifizieren, wie genau ihre KI-Programme sind?
Alle kommen zu derselben Erkenntnis: Wenn man produktionsreife Agenten will, die tatsächlich die Arbeit erledigen, dann beginnt das mit Evaluierungen.
Satya ist der jüngste Spitzenmanager, der Evaluierungen als strategisches IP ins Visier nimmt. Er argumentiert eloquent und nachdrücklich: „Unternehmen müssen ihre Arbeitsabläufe, ihr Domänenwissen und ihre gesammelte Urteilsfähigkeit in KI-Systeme verwandeln, die mit jeder Nutzung besser werden. Private Evaluierungen sollten erfassen, ob ein Modell tatsächlich bei Ergebnissen besser wird, die für das Unternehmen wichtig sind (nicht nur bei externen Benchmarks!)" (https://x.com/satyanadella/status/2066182223213293753).
Was sind also Evaluierungen? Kurz für „Evaluations", sind sie ein umfassendes, rigoroses Framework, um ein KI-System systematisch zu messen und zu verbessern. Wir reden hier nicht über Daumen hoch/runter oder gar menschliche Überprüfung von Agentenausgaben. Eine gute Evaluierungssuite erfasst die Nuancen von Urteilsvermögen, Ton und Geschmack; bewertet den agentischen Einsatz von Werkzeugen; unterteilt Aufgaben in spezifische, bewertbare Dimensionen (eine „Rubrik"); und wird typischerweise in einer Simulations- oder Reinforcement-Learning-Umgebung eingesetzt, in der Agenten wiederholt ausgeführt und trainiert werden können, um ihre Leistung im Laufe der Zeit zu verbessern.
Die besten Unternehmen behandeln agentische Evaluierungen als eine zentrale Qualitäts-, Zuverlässigkeits- und Governance-Ebene; weit über die Ad-hoc-Tests oder Pre-Launch-Checks hinaus, auf die sich die meisten Teams heute verlassen.
In den letzten 2 Jahren haben wir Handshake als KI-Unternehmen „neugegründet". Heute sind wir ein führender Anbieter von Evaluierungen sowohl für führende LLM-Labore als auch für Fortune-500-Unternehmen. Unser Handshake AI-Forschungsteam betreibt Pionierarbeit bei neuen Forschungen zu Verifiern, und wir arbeiten mit visionären Führungskräften der weltweit größten Unternehmen zusammen, um deren KI-Strategie zu gestalten. Einige Themen zeichnen sich ab.
Evaluierungen müssen ein Eckpfeiler eines umfassenden Ansatzes sein, um geschäftliche Wirkung aus KI zu erzielen. Hier sind die fünf Säulen, die wir sehen und die ich in zukünftigen Beiträgen vertiefen werde:
1. Alles beginnt mit Evaluierungen. Die KI-Leistung wird vollständig durch die Evaluierungssuite definiert, die zu ihrer Messung verwendet wird: Man kann die Leistung nur so gut verfolgen, wie man genau definiert hat, was „gut" bedeutet. Führende Organisationen bauen Evaluierungen nun in eine Simulation ein, um KI in einer kontrollierten Umgebung zu verbessern, bevor sie in der realen Welt eingesetzt wird. Fachexperten kuratieren historische Daten und fügen bewusst Grenzfälle (korrupter Text, widersprüchliche Anweisungen) ein, um das Modell zu testen. Die Simulation bewertet dann jedes Update anhand objektiver Rubriken, sei es exaktes String-Matching, Code-Level-Assertions oder LLM-as-Judge-Kriterien, und verwandelt die KI-Entwicklung von einem Ratespiel in eine vorhersagbare Ingenieursdisziplin.
2. Jede Funktion braucht eine eigene KI-Strategie. Ein komplexes Unternehmen erfordert einen segmentierten Ansatz: wo bauen, kaufen, optimieren oder trainieren, je nach Geschäftsbereich. Ein mittelgroßer Versicherer sollte wahrscheinlich einen Coding-Agenten von der Stange kaufen und für Frontier-Tokens bezahlen, während er gleichzeitig proprietäre Agenten entwickelt, die seine einzigartigen Underwriting-Entscheidungen als souveränes IP-Asset kodieren. Im Kundenservice sind vertikale, für RAG optimierte Lösungen oft sinnvoller, aber sie erfordern dennoch echte Einrichtung, Wartung und fortlaufende Evaluierungen. In der Welt der Agenten ist Leistungsmanagement gleich Evaluierung.
3. Sicherheit nicht vernachlässigen. Viele Führungskräfte gehen davon aus, dass ihre Cyber-Risiken abgedeckt sind, weil sie während der SaaS-Ära die Cloud-Infrastruktur und -Apps gesichert haben. Die Ära der agentischen KI bringt neue Schwachstellen mit sich: Standard-Firewalls stoppen keine Prompt-Injection-Angriffe oder verhindern, dass proprietäre Daten in öffentliche Trainingsschleifen gelangen. Die Sicherung eines mittelgroßen Unternehmens bedeutet den Einsatz von Datenbereinigungspipelines, um Identifikatoren zu entfernen, bevor Abfragen das Netzwerk verlassen, sowie von Eingabevalidierungsschichten, um bösartige Prompts zu neutralisieren, bevor sie Ihre Modelle erreichen.
4. Optimiertes Modell-Routing ist die neue Gehaltsbandbreite. Sie würden kein Führungskräftegehalt für Dateneingabe zahlen, und doch leiten die meisten Unternehmen einfache Aufgaben an teure Frontier-Modelle weiter. Eine Routing-Schicht, die die Modellkosten an die Aufgabenkomplexität anpasst, ist unerlässlich, aber sie funktioniert nur, wenn man die Evaluierungen hat, um zu wissen, ob ein günstigeres Modell tatsächlich liefern kann. Wir haben gesehen, dass Unternehmen zu stark auf Kosten optimieren und dies mit Qualität bezahlen. Bei LLMs bekommt man, wofür man bezahlt; die Disziplin besteht darin, Tokens dort auszugeben, wo die Aufgabe wirklich komplex ist.
5. Fine-Tuning ist zurück im Enterprise-Playbook. In sinnvoller Größenordnung ist die kosteneffektivste Strategie oft nicht die reine Agenteniteration oder das Routing, sondern die Anpassung kleinerer Open-Weight-Modelle an spezifische Aufgaben. Fine-Tuning sollte einem Modell keine neuen Informationen beibringen (dafür ist RAG da), aber es kann Arbeitsabläufe, Kommunikationsstil und Tool-Calling standardisieren. Der wahre Wert entsteht, wenn man das resultierende Modell wie jedes andere Software-Asset behandelt: Regressionstests und Feedbackschleifen, um Drift zu erkennen. Disziplin und Datenqualität sind wichtiger als das Rechenbudget.
Dieser Wandel hin zu einer Evaluierungs-zentrierten Denkweise ist nicht nur technische Infrastruktur. Es ist eine Veränderung darin, wie wir Erfolg für KI definieren: weg von „mal sehen, was es tut" hin zu „lass uns genau messen, was es tun soll, und es verbessern, bis es das tut." Die Organisationen, die das jetzt verstehen, werden KI von einem Kostenfaktor in ein dauerhaftes, sich vermehrendes Asset verwandeln.
Unsere Arbeit zur Verbesserung von Frontier-Modellen hat uns einen Platz in der ersten Reihe dieser Disziplin verschafft. Unser gemeinsames Ziel mit Unternehmenspartnern ist es, die Lücke zwischen „es funktioniert im Labor" und „es erledigt echte Arbeit für greifbaren Wert" zu schließen.
Wenn Sie diesen Übergang durchlaufen oder versuchen, Ihre KI-Programme über das Pilotstadium hinaus zu skalieren, würde ich gerne hören, wie Sie die Herausforderung formulieren. Es ist das wichtigste Problem, das wir im Jahr 2026 lösen.
