Da gibt es einen Grund, warum manche Leute ständig die beste Software ausliefern, großartige Inhalte schreiben oder unglaubliche Bilder generieren ...
Sie haben den Eval-Loop übernommen, während du ...
Du hast bessere Prompts ausprobiert, du bist auf das teurere Modell umgestiegen, du hast längere Anweisungen geschrieben, du hast den Speicher aktiviert, du hast Kontextdateien in Romanlänge gebaut, und der Schrott kommt trotzdem zurück ...
er kommt zurück, weil du immer wieder an der Schicht herumschraubst, die nie kaputt war
Schrott ist kein Prompt-Problem, es ist ein Systemproblem, genauso wie eine Fabrik, die fehlerhafte Einheiten ausliefert, kein Arbeiterproblem hat, sondern ein Qualitätskontrollproblem, niemand überprüft die Ausgabe, bevor sie das Gebäude verlässt
also das hier ist der Bauplan, am Ende dieses Textes wirst du einen funktionierenden Eval-Loop haben, der in Hermes, dem Open-Source-Agenten, läuft, jede Ausgabe an deinem Standard misst, bevor sie ausgeliefert wird, deine Live-Ausgabe überwacht, nachdem sie ausgeliefert wurde, und jeden Fehler zurück in einen neuen Test verwandelt, sodass die Qualitätsuntergrenze von selbst steigt
wir bauen es gemeinsam, Stück für Stück, und die Belohnung ist konkret: saubere Ausgabe, der du vertrauen kannst, ohne sie um Mitternacht nochmal lesen zu müssen, eine Qualitätszahl, die du tatsächlich sehen kannst, und Schrott, der auf dem Weg nach draußen abgefangen wird, statt von deinem Publikum
hier ist, was du am Ende haben wirst:
- der wahre Grund, warum bessere Prompts, größere Modelle und Speicher den Schrott nie endgültig beseitigen, und die eine Schicht, die es tatsächlich tut
- die zwei Stellen, an denen sich Schrott in deiner Arbeit versteckt: deine Content-Ausgabe und deine Produkt-Ausgabe, und warum die Lösung für beide identisch ist
- was ein Eval-Loop in einfachem Deutsch ist, die Qualitätsschicht, die nur sehr wenige täglich nutzen, und warum dir nie jemand gesagt hat, dass du einen bauen sollst
- einen Qualitäts-Benchmark, den du diese Woche aufsetzen kannst, für Content und für Produkt, genau, was gemessen werden muss und wie "gut" als Zahl aussieht, die du von einem Bildschirm ablesen kannst
- den genauen Bauplan, Schritt für Schritt, um diesen gesamten Loop in Hermes aus den Teilen zu verdrahten, die es dir bereits gibt: Skills, Speicher, Cron und Bestätigungs-Buttons, damit das Tor ohne dich läuft
wenn du hierhergekommen bist für "die 5 Prompts, die KI-Schrott beheben", dann ist das nicht dieser Artikel. Die gibt es und sie funktionieren nicht. Das hier ist die Version, die funktioniert.
du hast alles außer der einen Sache versucht
ein kurzer Durchgang durch das, was du bereits getan hast:
du hast den Prompt umgeschrieben, drei Mal, vier Mal, du hast Beispiele hinzugefügt, du hast eine Persona hinzugefügt, du hast eine "Nicht tun"-Liste eine Meile lang hinzugefügt
du hast auf das Frontier-Modell aufgerüstet, 5x pro Token bezahlt, und die Ausgabe wurde selbstbewusster, ohne weniger generisch zu werden
du hast den Speicher aktiviert, du hast eine Kontextdatei gebaut, du hast ihm deine Markenstimme, deine bisherige Arbeit, deinen Styleguide gefüttert
und jeder einzelne dieser Schritte hat dir ein paar gute Generierungen eingebracht, dann hat sich der Schrott wieder eingeschlichen
jeder einzelne davon ist eine Eingabeseiten-Korrektur, du schärfst ständig das Ding, das generiert, während du ignorierst, was abfangen sollte, eine bessere Waffe, die ins Dunkle abgefeuert wird, trifft immer noch nichts
Schrott ist ein Ausgabeseiten-Problem, es ist nicht so, dass das Modell keine gute Arbeit liefern kann, sondern dass du keine Möglichkeit hast, die gute Arbeit von der schlechten zu unterscheiden, bevor sie jemanden erreicht, der wichtig ist
es gibt keinen Eval-Loop, es gibt keinen Qualitäts-Benchmark, es gibt keine Anzeigetafel, also justierst du blind, du änderst einen Prompt und du hast das Gefühl, dass es besser geworden ist, aber Gefühl ist nicht Messung und ein Gefühl fängt nicht den schlechten Durchlauf, der sich in den nächsten 50 Generierungen versteckt
also gibst du dir selbst die Schuld, oder deinem Prompt, oder deinem Agenten-Setup, oder deiner Kontext-Engineerin, obwohl das fehlende Stück eine ganze Schicht der Arbeit mit KI ist, die dir nie gezeigt wurde, und bis zum Ende dieses Artikels wird diese Schicht auf deinem eigenen Rechner laufen, in Hermes
warum bessere Prompts das nicht beheben können (und warum es trotzdem jeder immer wieder versucht)
ein Prompt ist eine Hypothese, die Ausgabe ist das Ergebnis, und ein Eval ist das Einzige, das den Kreislauf zwischen ihnen schließt
ohne diesen Kreislauf rätst du für immer, du optimierst die Hypothese, du begutachtest ein Ergebnis mit einem Blick, du erklärst den Sieg, und du findest nie heraus, dass derselbe Prompt in 30% der Fälle Müll produziert, weil du dir immer nur die eine Ausgabe vor dir angesehen hast
das Modell ist nicht-deterministisch, derselbe Prompt zweimal ausgeführt gibt dir zwei verschiedene Antworten, was bedeutet, dass selbst ein \perfekter\ Prompt bei einem bestimmten Prozentsatz der Durchläufe Schrott produziert, und du hast keine Ahnung, welche Durchläufe, bis ein Kunde oder ein Benutzer auf einen starrt
also ist ein perfekter Prompt keine Qualitätsgarantie, sondern ein etwas besserer Münzwurf, und du lieferst jeden Wurf aus
der Grund, warum alle trotzdem immer wieder zu Prompts greifen, ist einfach: Der Prompt ist der einzige Hebel, den du tatsächlich sehen kannst, du kannst ihn bearbeiten, und das Bearbeiten fühlt sich wie Kontrolle an
Messung ist unsichtbar, niemand verkauft dir einen Kurs darüber, niemand postet einen viralen Thread mit dem Titel "Die Eval-Suite, die meine Ausgabe verzehnfacht hat", also bleibt die gesamte Diskussion an dem einen Hebel hängen, der das Problem nicht allein lösen kann
die Leute, deren KI-Ausgabe durchgängig sauber ist, sind nicht besser im Prompter als du, sie haben nur einen zweiten Hebel, den du nicht hast, sie messen jede Ausgabe an einem Standard, bevor sie ausgeliefert wird, und das Messen ist es, das ihr Prompter wie Magie aussehen lässt
die zwei Orte, an denen Schrott lebt
Schrott versteckt sich an genau zwei Orten, und fast alle sehen nur einen davon
Ort 1: deine Content-Ausgabe
die Tweets, die Artikel, die E-Mails, die Landingpages, die Posts, alles, was du mit KI generierst und unter deinem Namen veröffentlichst
Schrott sieht hier aus wie Arbeit, die technisch in Ordnung und völlig hohl ist, und sie klingt wie jedes andere KI-Konto auf der Timeline, korrekt von außen, leer von innen
sie stirbt in der Öffentlichkeit, und du kannst nicht artikulieren, warum, weil jedes einzelne Stück in Ordnung aussah, als du auf Senden gedrückt hast
Ort 2: deine Produkt-Ausgabe
die KI-Funktion, die du ausgeliefert hast, der Agent, der Chatbot, der Support-Responder, die Extraktions-Pipeline, das Ding, das deine Benutzer tatsächlich berühren
Schrott sieht hier aus wie eine falsche Antwort, die mit voller Überzeugung geliefert wird, eine halluzinierte Zahl, eine kaputte JSON-Nutzdaten, ein Ton, der für die Marke nicht passt, eine Ausgabe, die in der Demo großartig war und drei Deployments später leise degradiert ist
sie stirbt nicht in der Öffentlichkeit, sie skaliert im Stillen, jeder Benutzer bekommt eine etwas schlechtere Erfahrung, und die meisten sagen es dir nie, sie gehen einfach
das sind die gleiche Krankheit mit der gleichen Heilung
Content-Schrott und Produkt-Schrott sind beide ungenessene KI-Ausgabe, die direkt zu einem Publikum geht, ohne Tor dazwischen
der einzige Unterschied sind die Einsätze und die Sichtbarkeit, Content-Schrott blamiert dich laut, Produkt-Schrott blutet dich leise aus, und der Loop, den wir in Hermes bauen, bewertet beide mit derselben Fähigkeit, sodass du ein Qualitätssystem für alles, was du generierst, betreibst, statt zwei
was ein Eval-Loop tatsächlich ist
ein Eval-Loop ist ein wiederholbarer Test, der deine KI-Ausgabe an einem Standard misst, automatisch, jedes Mal, bevor sie ausgeliefert wird und nachdem sie ausgeliefert wurde
das ist alles, das ist die ganze Sache, und es ist die Schicht, die fast niemand hat, der mit KI baut
generiere die Ausgabe
bewerte sie anhand eines von dir definierten Benchmarks
fange die Durchläufe, die unter die Linie fallen
behebe, was fehlschlägt
bewerte erneut und lasse nur die bestehende Ausgabe durch
Softwareentwickler haben das schon ewig, es heißt Tests, du würdest niemals Code ohne Tests ausliefern und einfach hoffen, dass er in der Produktion funktioniert, aber genau das tut die gesamte Branche gerade mit KI-Ausgabe, direkt vom Modell zum Benutzer, basierend auf Bauchgefühl und einem Gebet
der Grund, warum fast niemand einen Eval-Loop hat, ist demografisch, die Leute, die heute mit KI bauen, kommen aus Content, Vertrieb, Produkt, Gründung, nicht aus der Entwicklung, also war "schreibe Tests für deine Ausgabe" nie im Werkzeugkasten, Evals lesen sich wie Infrastruktur für "echte" Entwickler, und die Leute, die sie am dringendsten brauchen, nehmen an, dass sie sich keinen wünschen dürfen
betrachte es als Unit-Testing für das Nicht-Deterministische, du testest nicht, ob der Code läuft, du testest, ob die \Ausgabe gut ist\, und du testest sie über genügend Fälle, sodass sich ein schlechter Durchlauf nicht verstecken kann
ein Eval-Loop läuft an drei Stellen, und der Bauplan, der vor uns liegt, platziert ihn an allen drei:
- bevor du auslieferst, führe deinen neuen Prompt oder dein neues Modell gegen einen gespeicherten Satz von Fällen aus und bestätige, dass es nicht schlechter geworden ist, das ist Regressionstest, so verhinderst du eine Änderung, die eine Sache behebt und leise drei andere kaputt macht
- zur Laufzeit, bewerte die Ausgabe, während sie generiert wird, und lasse die bedingte Logik die Fehler abfangen, bevor sie den Benutzer erreichen, das ist die Leitplanke
- in der Produktion, bewerte eine Stichprobe von echten Ausführungen kontinuierlich, damit du die Qualitätsverschlechterung an dem Tag siehst, an dem sie beginnt, nicht in der Woche, in der ein Kunde sich beschwert
du kannst die Erste in einer Tabellenkalkulation aufsetzen, aber alle drei kontinuierlich zu betreiben, ohne dass es zu einem zweiten Job wird, ist der ganze Grund, warum wir das in einen Agenten packen
in dem Moment, in dem Qualität zu einer Zahl wird, hört Schrott auf, ein Gefühl zu sein, das du immer wieder hast, und wird zu einem Fehler, den du beheben kannst, du kannst ein Bauchgefühl nicht debuggen, du kannst eine Bewertung debuggen, die von 0,82 auf 0,61 gefallen ist
der Benchmark, die drei Teile, die du gleich bauen wirst
ein Benchmark hat drei Teile, und es sind die gleichen drei Teile, egal ob du Content oder ein Produkt bewertest:
Testfälle, reale Eingaben gepaart mit dem, was eine gute Ausgabe ausmacht (deine Ground Truth)
Metriken, wie du eine Ausgabe in eine Bewertung umwandelst, idealerweise 0 bis 1
einen Schwellenwert, die Linie, unter der nichts ausgeliefert wird
baue diese drei und du hast ein Qualitätstor, überspringe eines davon und du hast einen Wunsch, der Rest dieses Abschnitts erklärt, was in jeden Teil gehört, dann verdrahten wir alle drei in Hermes
für Content: Deine Testfälle sind dein Goldstandard
ziehe 20 bis 50 deiner besten Stücke heran, die Knaller, die Posts, die vorgemerkt wurden, die Artikel, hinter denen du deinen ganzen Namen stellen würdest, das ist, wie "gut" aussieht, du erfindest keinen Standard, du extrahierst den, den du an deinen besten Tagen bereits getroffen hast
für Content: Deine Metrik ist ein Bewertungsraster (Rubric)
eine Bewertung ist nur so gut wie das Bewertungsraster dahinter, also kodiere, was du tatsächlich glaubst, das die Arbeit gut macht, für Content bewerte ich jedes Stück nach vier Kriterien:
- es erklärt, wie man etwas Bestimmtes macht, kein Bauchgefühl, eine Handlung, die der Leser morgen umsetzen kann
- jeder im Publikum kann es nachvollziehen, keine Jargon-Mauern, kein Insider-Wissen
- es ist strukturiert, reproduzierbar, Schritt für Schritt, nicht nur inspirierend
- es ist neuartig, der Leser hatte keine Ahnung, dass du das tun kannst
das Meta-Kriterium, das über allen vieren sitzt: Würde jemand dies mit einem Lesezeichen versehen und später zurückkommen, um es umzusetzen? Wenn die Antwort nein ist, ist es Schrott, egal wie sauber der Text liest
der Trick ist das Bewertungsraster, ein vages Bewertungsraster ("ist das gut und ansprechend") produziert eine vage Bewertung, ein spezifisches Bewertungsraster ("enthält das mindestens eine kopierbare Vorlage oder ein Playbook") produziert eine Bewertung, der du vertrauen kannst, der Richter übernimmt deinen Geschmack nur, wenn du deinen Geschmack tatsächlich aufschreibst
für das Produkt: Deine Testfälle kommen aus deinen Logs
ziehe die tatsächlichen Eingaben, die deine Funktion sieht, aus deinen Logs, aus echten Benutzersitzungen, nicht die drei Happy-Path-Beispiele, die du am Starttag getestet hast, die Fälle, die dich kaputt machen, sind die seltsamen, und die seltsamen leben in deinen Logs
für das Produkt: Deine Metrik passt zur Aufgabe
definiere für jede Eingabe, wie eine korrekte Ausgabe aussieht, passe dann die Metrik an die Aufgabe an, exakte Übereinstimmung, wenn es ein richtiges Label gibt, einen Validator, wenn die Struktur halten muss, semantische Ähnlichkeit plus einen Richter, wenn die Ausgabe offen ist, die Metrik muss nur eine Zahl zurückgeben, denn eine Zahl ist das Einzige, auf das du einen Schwellenwert setzen kannst
für beide: Der Schwellenwert ist die Linie, die du hältst
0,7 ist ein vernünftiger Ausgangspunkt, alles unter 0,7 wird überarbeitet oder getötet, bevor es ausgeliefert wird, keine Ausnahmen, der Schwellenwert funktioniert nur, wenn du niemals eine 0,6 durchlässt, weil sie dir gefallen hat, der ganze Sinn ist, das nächtliche Ego aus der Entscheidung zu nehmen
das ist der Benchmark, jetzt bringen wir ihn dazu, von selbst zu laufen
den Loop in Hermes bauen
Hermes liefert keinen "Evals"-Knopf, es gibt kein Dashboard namens "Qualität", wo du auf "Schrottschutz einschalten" klickst
was Hermes dir stattdessen gibt, ist besser: die rohen Teile eines Eval-Loops als Bausteine, die du einmal zusammenbaust und dann besitzt
Skills, die es für sich selbst schreibt und wiederverwendet, persistenten Speicher, der über Sitzungen hinweg wächst, eingebaute Cron-Funktion, die an jede Plattform liefert, Bestätigungs-Buttons in Slack und eine Selbstverbesserungs-Gewohnheit, die im Kern verankert ist
Hermes nennt sich selbst "der Agent, der mit dir wächst", und dieses Wachstum ist genau der Loop, den wir bauen
also lasst uns verdrahten, sechs Schritte
Schritt 1: Stelle Hermes dort auf, wo es dich erreichen kann
installiere es und verbinde es mit Telegram, das ist wichtiger, als es klingt, denn das Tor funktioniert nur, wenn es dich unterbrechen kann, Hermes läuft über 20+ Kanäle und liefert native Bestätigungs-Buttons in Slack und Telegram, sodass der Agent im Hintergrund arbeiten und dich auf die Schulter tippen kann, wenn eine Entscheidung bei dir liegt
Schritt 2: Lade deinen Goldstandard in den Speicher
Hermes hat einen persistenten Speicher, der über Sitzungen hinweg wächst, mit vollständigem sitzungsübergreifendem Abruf, also kommen die 20 bis 50 besten Stücke aus deinem Benchmark einmal dort hinein und bleiben dort, das ist der Teil, der normalerweise über Screenshots und alte Entwürfe verstreut ist, hier ist es das Langzeitgedächtnis des Agenten, abfragbar, die Ground Truth, an der deine Bewertungen gemessen werden
Schritt 3: Verwandle dein Bewertungsraster in einen Judge-Skill
das ist der Kern, du sagst Hermes einmal, in einfachem Deutsch, einen Skill zu erstellen, der eine Ausgabe plus dein Bewertungsraster nimmt und eine Bewertung von 0 bis 1 pro Kriterium mit einem einzeiligen Grund zurückgibt, das ist LLM-as-a-Judge, ein Agent, der dein LLM bewertet, und ein Modell mit einem scharfen Bewertungsraster ist ein konsistenterer Kritiker als du, weil es kein Ego in dem Stück hat und keine Bindung an den einen Satz, auf den du insgeheim stolz bist
der Grund, warum dies als Skill und nicht als einmaliger Prompt lebt, ist, dass Hermes-Skills prozedurales Gedächtnis sind, der Agent schreibt sie, behält sie und verwendet sie wieder, du kodierst deinen Geschmack ein einziges Mal und er bewertet jede Ausgabe für immer, und Skills summieren sich, Nous hat festgestellt, dass Agenten mit 20+ selbst erstellten Skills ähnliche Aufgaben 40% schneller erledigen, weil sie aufhören, den Prozess immer wieder zu entdecken, dein Richter wird mit jedem Durchlauf schärfer
Schritt 4: Mache die Suite zu einem Skill, nicht zu einer Tabellenkalkulation
deine Testfälle plus die Metrikfunktionen werden zu einem Skill, den Hermes hält und versioniert, die Metrikbibliothek ist das, was die Aufgabe erfordert, exakte Übereinstimmung für Klassifikation, Regex für Extraktion, JSON- und Schlüssel-Wert-Validatoren für Struktur, semantische Ähnlichkeit für generative Ausgabe
dein Judge-Skill für die offenen Sachen, Hermes schreibt den Bewertungscode selbst, du beschreibst die Aufgabe und es baut die Metrik, alles an einem Ort, den der Agent besitzt, statt in einem Blatt, das du verlieren wirst
Schritt 5: Tore den Versand mit Regressionstest und einem Bestätigungs-Button
das ist die Gewohnheit mit der höchsten Hebelwirkung im gesamten System und diejenige, die niemand von Hand beibehält, also geben wir sie dem Agenten, verdrahte es so, dass jede Änderung – ein neuer Prompt, ein ausgetauschtes Modell, eine optimierte Pipeline – die Suite auslöst, Hermes führt jeden Fall erneut aus, berechnet die Bewertungsdifferenz zum Basiswert und pingt dich, anstatt still zu liefern, in Slack an: "Bewertungen gingen von 0,81 auf 0,74, zwei Fälle haben sich verschlechtert, genehmigen?", und es fährt nur fort, wenn du den Button drückst
du kannst es mit /goal auf diese Aufgabe festlegen, was den Agenten über mehrere Runden hinweg auf ein Ziel ausrichtet, und für alles Größere kann sein Multi-Agenten-Kanban den Durchlauf zerlegen, parallel bewerten und planen, sodass das Tor ein dauerhafter Prozess ist, kein Ding, an das du dich erinnerst, es auszuführen
Schritt 6: Beobachte die Produktion per Cron und schließe den Kreislauf
Hermes hat eine eingebaute Cron-Funktion, die an jede Plattform liefert, also planst du einen Job, der echte Ausführungen abtastet, sie mit demselben Judge-Skill bewertet und dir eine Direktnachricht sendet, sobald die Linie sinkt, du bemerkst die Verschlechterung an dem Tag, an dem sie beginnt, nicht in der Woche, in der ein Kunde sich beschwert, "der Eval-Score ist gefallen" ist ein Problem, mit dem du umgehen kannst, "ein Kunde schien verärgert" ist es nicht
dann der Teil, der das Ganze sich summieren lässt: Wenn du eine schlechte Ausgabe in Slack mit einem Daumen nach unten markierst, schreibt Hermes sie als neuen Testfall zurück in den Suite-Skill, dieser fehlgeschlagene Durchlauf wird zu einer permanenten Prüfung, und da Selbstverbesserung das ist, was Hermes ist, keine Funktion, die an die Seite geschraubt wurde, härtet sich die Suite jede Woche von selbst aus, der Boden steigt, während du schläfst
Wie "gut" aussieht, wenn das läuft, konkret: Ein Content-Stück unter 0,7 in deinem Bewertungsraster wird nie ausgeliefert, eine Produktänderung, die eine Metrik unter den Basiswert fallen lässt, blockiert das Deployment, bis du es genehmigst, und die Produktionsbewertungslinie bleibt flach oder steigt. An dem Tag, an dem sie sinkt, pingt dich Hermes an, nicht in der Woche, in der die Abwanderung auftaucht.
der Teil, den niemand hören will
der Grund, warum deine KI-Ausgabe inkonsistent ist, ist nicht, dass du schlecht im Prompter bist, und es ist nicht, dass das Modell noch nicht intelligent genug ist
es ist, dass du einen Generierungsschritt ohne Qualitätsschritt betreibst, du hast ein halbes System gebaut und die Hälfte, die funktioniert, beschuldigt
die Lösung ist kein besserer Prompt, es ist eine fehlende Schicht, definiere, wie "gut" aussieht, verwandle es in eine Zahl, bewerte jede Ausgabe daran, tote alles, was unter die Linie fällt, und schließe den Kreislauf, sodass der Boden jede Woche steigt, und jetzt ist diese Schicht kein "Irgendwann"-Projekt mehr, es sind sechs Schritte in einem Agenten, der auf deinem eigenen Rechner läuft
tu das, und Schrott hört auf, etwas zu sein, das dir zufällig passiert, und wird zu etwas, das du auf dem Weg nach draußen abfängst, jedes Mal, genauso wie eine echte Fabrik einen Fehler abfängt, bevor er jemals einen Kunden erreicht
der Prompt war nie das System
der Eval-Loop ist das System, Hermes ist der Ort, an dem er läuft, und jetzt hast du ihn
