Wie das klügste Labor der Welt versehentlich das falsche Produkt ausgeliefert hat
Ich bat Anthropics leistungsfähigstes öffentliches Modell, einen Aufsatz über Anthropic zu bearbeiten. Es bekam nie die Gelegenheit dazu. Ich hängte diesen Entwurf an und tippte sieben harmlose Wörter: „Überarbeite, lass es knallen. Für Twitter formatieren.“ Die App wechselte die Aufgabe automatisch von Fable 5 zu Opus 4.8. Ihre Erklärung war einfach: „Fables Sicherheitsvorkehrungen haben diese Nachricht markiert.“
Genauer gesagt handelte es sich nicht um gewöhnliches Rate-Limiting. Fable antwortete nicht und lehnte nicht ab. Anthropics Sicherheitsvorkehrung fing die Anfrage ab, bevor das ausgewählte Modell antworten konnte, und leitete sie stattdessen an ein anderes Modell weiter. Anthropic hat erklärt, dass genau so das System funktioniert: Wenn der Klassifikator von Fable eine Anfrage blockiert, wird die Anfrage an Opus 4.8 gesendet. Das Unternehmen hat auch eingeräumt, dass es die Sicherheitsspanne des Klassifikators bewusst vergrößert hat, wohl wissend, dass dies zu mehr Fehlalarmen bei harmlosen Arbeiten führen würde. (Anthropic
Ich weiß nicht, warum die Sicherheitsvorkehrung ausgelöst wurde, und ich behaupte nicht, dass Anthropic Kritik zensiert hat. Die überprüfbare – und hinreichend seltsame – Tatsache ist, dass eine routinemäßige Bearbeitungsanfrage von einer Sicherheitsvorkehrung abgefangen wurde, deren eigene Warnung Fehlalarme bei legitimer Programmier-, Cybersicherheits- und Biologiearbeit diskutierte. Es war ein fast komisch perfekter Auftakt zu einem Aufsatz über das Team, das das nach Meinung vieler brillanteste KI-System der Welt entwickelt hat.
Dieser Aufsatz untersucht, was passiert, wenn ein System so sehr mit der Leistung seiner einzelnen Teile beschäftigt ist, dass es das Ergebnis aus den Augen verliert, das das gesamte System hervorbringen soll. Das Modell kann brillant sein, die Sicherheitsvorkehrung kann genau wie vorgesehen funktionieren, und die Preisgestaltung kann für diejenigen, die sie entwickelt haben, vollkommen sinnvoll sein. Die Arbeit des Nutzers kann dennoch unerledigt bleiben.
Exhibit A:
Ich bat Fable 5, diesen Artikel zu bearbeiten. Anthropics Sicherheitsvorkehrungen markierten die Anfrage und wechselten sie zu Opus 4.8.
Die Hühner und ihre Eier
1982 begann der Purdue-Genetiker William Muir ein ungewöhnliches Zuchtexperiment mit Legehennen. Muir wollte wissen, was passiert, wenn die Produktivität auf der Ebene der Gruppe statt auf der des Individuums selektiert wird. Anstatt nur von den produktivsten Einzeltieren zu züchten – ein Maß für die reine individuelle Leistung – hielt er verwandte Hennen zusammen und wählte ganze Familiengruppen nach ihrer gemeinsamen Leistung aus. Der Käfig, nicht das isolierte Huhn, wurde zur Selektionseinheit. (PubMed
Margaret Heffernan machte Muirs technisches Zuchtprogramm später zur berühmten „Superhuhn“-Geschichte. Für Manager wurde ihre Erzählung zu einer unheilvollen Warnung: Die Stärksten und Klügsten einzustellen führt nicht immer zu den besten Ergebnissen. In ihrer Version des Experiments durfte eine Hühnerschar eine gewöhnliche Herde bleiben – keine Superhühner erlaubt. Eine zweite Gruppe wurde wiederholt von den produktivsten Einzelhühnern gezüchtet; sie nennt sie „die All-Star-Hühner“. (Purdue Alumnus
Die Ergebnisse waren dramatisch. Über sechs Generationen hinweg sank die jährliche Sterblichkeit in Muirs gruppenselektierter Herde von 68 Prozent auf 8,8 Prozent. Im gleichen Zeitraum stieg die Produktion von 91 auf 237 Eier pro Henne – das 2,6-fache der ursprünglichen Leistung. In einem späteren direkten Vergleich in Gruppen von zwölf Tieren erlitt eine kommerzielle Linie, die auf individuelle Leistung gezüchtet wurde, eine Sterblichkeit von 89 Prozent bis zur 58. Lebenswoche. Muirs gruppenselektierte Linie hatte nur 20 Prozent Sterblichkeit, während die unselektierte Kontrolle 54 Prozent hatte. In der gleichen Gruppenumgebung übertraf die gruppenselektierte Herde die kommerziellen All-Stars bei Eiern pro Henne, Eimasse und Eiern pro Henne und Tag. (PubMed
Die Schar der Superhühner war dagegen zerlumpt und heruntergekommen. In der Version des Experiments, die die Geschichte berühmt machte, waren sechs der neun All-Star-Hennen tot und die restlichen drei waren kahl gepickt. Die Herde hatte sich sozusagen zu Tode gepickt. (Purdue Alumnus
Die Lehre war nie, dass Mittelmäßigkeit Talent schlägt. Die wirkliche Lehre ist, dass deine Ergebnisse widerspiegeln, was du belohnst. Selektierst du nur nach individueller Leistung, baust du vielleicht versehentlich ein schwächeres Team, weil die Eigenschaften, die es einem Individuum erlauben, zu dominieren, die Produktivität aller anderen verringern können. Selektierst du Individuen nach ihrem Beitrag zur Gruppe, werden Eigenschaften sichtbar, die in einer individuellen Rangliste verschwinden – Kompatibilität, Zurückhaltung, Zuverlässigkeit und Kooperation.
Der wahre Beitrag eines Huhns ist nicht nur, wie viele Eier es aus sich herausquetschen kann. Er umfasst auch, was seine Anwesenheit den anderen Hühnern ermöglicht – oder verwehrt. Muir hatte Produktivität nicht zugunsten von Harmonie aufgegeben. Er hatte entdeckt, dass Harmonie in einem sozialen System ein Teil der Produktivität ist. Die eigentliche Leistungseinheit war nie das Huhn. Es war der Stall.
Ich habe eine Version dieser hart erlernten Lektion selbst erfahren, als ich meine eigene Baufirma leitete. Jahrelang war verlässliche Hilfe in unserem speziellen Gewerbe so schwer zu finden, dass ein All-Star wie eine Erlösung wirkte. Aber die Leute, die wie All-Stars aussahen, brachten allzu oft eine versteckte Steuer mit sich: zusätzliche Ausnahmen, zusätzliches Management, beschädigte Moral und Reibung, die der Rest der Crew absorbieren musste.
Irgendwann hörte ich auf, nur zu fragen: „Wie gut ist diese Person in ihrem Handwerk?“ und begann zu fragen: „Was passiert mit der Arbeit aller anderen, wenn diese Person zum Team stößt?“ Die Person, die am stärksten wirkt, ist nicht immer die Person, die das Unternehmen tatsächlich stärker macht. Ein Meisterhandwerker, der jedes benachbarte Gewerbe verlangsamt, die Aufmerksamkeit des Vorarbeiters beansprucht oder zuverlässige Leute vertreibt, mag isoliert betrachtet beeindruckend sein, aber in der Praxis teuer. Ein ruhigerer Arbeiter, der das gesamte Team zuverlässiger macht, trägt möglicherweise weit mehr bei, als seine individuelle Leistung vermuten lässt.
Der Superstall
Anthropic hat wirklich eine außergewöhnliche Schar wirklich kluger Hühner versammelt. Eine SignalFire-Analyse von 2025, die auf öffentlichen Beschäftigungsdaten basiert, schätzte, dass Ingenieure achtmal häufiger von OpenAI zu Anthropic wechselten als umgekehrt und fast elfmal häufiger von DeepMind dorthin wechselten. Sie schätzte auch, dass 80 Prozent der Anthropic-Mitarbeiter, die mindestens zwei Jahre zuvor eingestellt wurden, bis zum Ende ihres zweiten Jahres blieben, verglichen mit 78 Prozent bei DeepMind und 67 Prozent bei OpenAI. (SignalFire
Diese Zahlen beschreiben kein Unternehmen, das Schwierigkeiten hat, Talente anzuziehen oder zu halten. Sie beschreiben einen Magneten für All-Stars.
Das bedeutet nicht, dass Anthropics Mitarbeiter sich gegenseitig zu Tode picken. Das wäre eine billige Analogie, und die Talentzahlen beweisen das nicht. Die wichtigere Gefahr ist subtiler. Wenn ein Unternehmen glaubhaft auf außergewöhnliche Forscher, ungewöhnlich hohe Bindungsraten und führende Modelle verweisen kann, wird es leicht, Exzellenz in den einzelnen Teilen als Beweis dafür zu nehmen, dass das gesamte System funktioniert.
Muirs Experiment zeigt, warum dieser Schluss nicht vertrauenswürdig ist. Die Gefahr ist nicht die Brillanz selbst. Die Gefahr ist, die Leistung eine Ebene zu niedrig zu messen.
Das Modell ist nicht das Produkt
Die KI-Industrie ist um Superhühner herum aufgebaut: berühmte Forscher, Benchmark-führende Modelle, enorme Vergütungspakete und Startseiten voller Superlative. Im Labor ist die Hackordnung offensichtlich. Außerhalb sehen wir nur die Eier.
Silicon Valley hat einen klaren blinden Fleck: Dein Team kann außergewöhnlich sein, während das Produkt, das du gebaut hast, frustrierend, unzugänglich oder unzuverlässig bleibt.
Die täglichen Nutzer beurteilen ein Modell nicht nach seinem Team talentierter Hühner oder seinen Benchmarks. Wir haben nur das Modell, die App, die Sicherheitsvorkehrungen, die Nutzungslimits, die Preise, den Kundensupport.
Zwei Unternehmen, 74 Minuten auseinander
Am 17. Juli reagierte Anthropic auf Fables überwältigende Nachfrage mit einem Kompromiss. Ab dem 20. Juli sollten Max- und Team-Premium-Abonnenten Fable im Rahmen ihrer Pläne erhalten, jedoch mit der Hälfte ihrer normalen Limits. Pro- und Team-Standard-Nutzer sollten weiterhin über Nutzungsguthaben auf das Modell zugreifen können und erhielten ein einmaliges Guthaben von 100 $.
https://x.com/claudeai/status/2078302415804379218
74 Minuten später gab Thibault Sottiaux von OpenAI bekannt, dass die Nutzungslimits für alle zahlenden Codex- und ChatGPT-Work-Nutzer zurückgesetzt worden seien.
Es handelte sich nicht um wirtschaftlich identische Angebote. Anthropic führte eine fortlaufende Zugangsrichtlinie für ein ungewöhnlich rechenintensives Modell ein, während OpenAI einen vorübergehenden Reset nach einem schwierigen Produktstart gewährte. Dieser Vorbehalt ist wichtig. Der Kontrast in der Produkthaltung war dennoch kaum zu übersehen.
https://x.com/thsottiaux/status/2078320950488297917
OpenAI handelte nicht aus einer Position der Perfektion. Das Unternehmen hatte kürzlich Teile seines eigenen Desktop- und ChatGPT-Work-Rollouts vermasselt, und Sottiaux hatte öffentlich zugegeben, dass das Unternehmen „nicht alles ganz richtig gemacht“ habe. Nutzer waren auf verwirrende High-Compute-Einstellungen, undurchsichtige Nutzungskosten und ein Redesign gestoßen, das vertraute Arbeitsabläufe störte. OpenAI reagierte, indem es die Standardeinstellungen änderte, versprach, die Benutzeroberfläche zu reparieren, und die Nutzung wiederholt zurücksetzte, damit die Kunden weiterarbeiten konnten.
Das eine Unternehmen rechtfertigte Knappheit.
Das andere baute Wohlwollen auf.
OpenAI ist keine Schar mittelmäßiger Hühner. Auch dort sitzen außergewöhnliche Talente, und das Unternehmen hat eigene ernsthafte kulturelle und produktbezogene Fehler gemacht. Der bedeutsame Unterschied in diesem Moment liegt nicht in der Intelligenz, weder in den Modellen noch im Stall. Es ist das, was das System zu belohnen scheint, wenn Druck aufkommt.
In seiner besten Form ist die aktuelle Produkthaltung von OpenAI unerbittlich gewöhnlich. Sie beginnt mit der Aufgabe des Nutzers: Was versucht diese Person zu erreichen? Was hindert sie daran, es zu Ende zu bringen? Wo liegt die Reibung, und wie schnell können wir sie beseitigen? Die Resets beweisen nicht, dass OpenAI die Produktkultur gelöst hat, aber sie zeigen den Nutzern einen Instinkt, einen Teil der Kosten für eigene Fehler zu absorbieren, anstatt sie ihnen vollständig aufzubürden.
Anthropics Produkthaltung vermittelt allzu oft etwas anderes: Wir haben eine außergewöhnliche Intelligenz geschaffen, und unsere Hauptverantwortung ist es zu bestimmen, wie viel davon du sicher nutzen darfst. Das mag eine kohärente institutionelle Haltung sein, aber sie ist nicht kundenorientiert. Goldene Eier sind beeindruckend, aber sie ernähren die Familie nicht, wenn der Stall dir nicht erlaubt, sie einzusammeln.
Das eine Unternehmen organisiert sich zunehmend um die Aufgabe des Nutzers. Das andere organisiert sich immer noch um systemisches Risiko. Beide Unternehmen müssen sich um beide Fragen kümmern, aber die Frage, die sie zuerst stellen, prägt das Produkt, das sie letztendlich bauen. Der Unterschied zeigt sich nicht nur in Leitbildern. Er zeigt sich in Weiterleitung, Limits, Preisen, Kommunikation und der Bereitschaft, Vertrauen zu reparieren, wenn das System versagt.
Der ganze Stall
Kultur ist nicht, was ein Unternehmen über sich selbst sagt. Kultur ist, was seine Systeme wiederholt einfach machen – und was sie wiederholt schwierig machen.
Anthropic braucht nicht weniger brillante Leute. Es braucht eine breitere Definition von Erfolg, die nicht nur Modellintelligenz und Sicherheitsvorkehrungsstärke umfasst, sondern auch Zugang, Zuverlässigkeit, Transparenz und Vertrauen. Aus Kundensicht ist das endgültige Maß überraschend einfach: Kann ich mich darauf verlassen, dass dieses gesamte System die Arbeit erledigt?
Muir machte seine Hühner nicht weniger produktiv. Er änderte die Ebene, auf der Produktivität gemessen wurde, und entdeckte, dass die kollektive Leistung Informationen enthielt, die eine einzelne Eizahl nicht erfassen konnte. Die für Gruppenleistung selektierten Vögel wurden gesünder und produktiver, weil destruktive Interaktion für die Metrik nicht mehr unsichtbar war. Kooperation ist keine sentimentale Alternative zur Leistung. Sie ist eine der Bedingungen, die größere Leistung überhaupt erst möglich machte.
Das Rennen um die Spitzenmodelle tritt in die gleiche Phase ein. Wenn nur ein Labor außergewöhnliche Intelligenz hervorbringen kann, mag das klügste Modell nicht vom besten Produkt zu unterscheiden sein. Sobald mehrere Labore außergewöhnliche Intelligenz hervorbringen können, verlagert sich der Wettbewerbsvorteil nach außen in das gesamte System.
Das klügste Modell der Welt ist nicht mehr automatisch das beste Produkt oder der beste Marktfit. Claude mag das größte und klügste Huhn in der KI sein, aber niemand außerhalb des Stalls bewertet die Hühner. Wir zählen nur die Eier.
—
Quellen
William M. Muir, „Group Selection for Adaptation to Multiple-Hen Cages“, Poultry Science (1996).
https://pubmed.ncbi.nlm.nih.gov/8786932/
William M. Muir, „Incorporation of Competitive Effects in Breeding Programs“, Purdue University.
https://web.ics.purdue.edu/~bmuir/papers/muir%20group%20selection%20genetics%20final%20v2.pdf
Margaret Heffernan, A Bigger Prize.
https://www.hachettebookgroup.com/titles/margaret-heffernan/a-bigger-prize/9781610392914/
Margaret Heffernan, „Is the Professional Pecking Order Doing More Harm Than Good?“, NPR/TED Radio Hour.
SignalFire, „The State of Tech Talent Report — 2025“.
https://www.signalfire.com/blog/signalfire-state-of-talent-report-2025
Anthropic, „Claude Fable 5 and Claude Mythos 5“.
https://www.anthropic.com/news/claude-fable-5-mythos-5
—
KI-Offenlegung: Ich habe das Argument entwickelt und den ersten Entwurf aus eigener Erfahrung geschrieben, dann ChatGPT genutzt, um Teile des Aufsatzes zu recherchieren, umzustrukturieren und neu zu verfassen. Ich habe den endgültigen Text überprüft und überarbeitet und übernehme die Verantwortung für seine Behauptungen und Schlussfolgerungen.
**Neugierig, was ich baue?
Eine KI, die ihre Quellen zitiert:**
