Zen und die Kunst der KI-Forschung

Du willst also KI-Forschung betreiben? Es stimmt, dass einem das wirklich niemand beibringt. Nicht direkt, jedenfalls. Aber es stellt sich heraus, dass der Einstieg ziemlich einfach ist: eine Kombination aus (i) lesen und (ii) etwas bauen. Das eine geht nicht ohne das andere. Durch die Kombination wirst du zum Forscher.

Es zeigt sich, dass der Prozess, ein großartiger Forscher zu werden, nicht unähnlich dem Meditierenlernen ist:

I.

Es gibt einen alten Zen-Spruch, der ungefähr so lautet:

*An Tagen, an denen wir Einsicht finden, sitzen wir. An Tagen, an denen wir keine Einsicht finden, sitzen wir.*

Forschung zu betreiben ist im Grunde genauso. Wissenschaftliche Erkenntnisse können scheinbar zufällig kommen. An den meisten Tagen werden sie nicht kommen. Eine wichtige Eigenschaft für den Erfolg ist, einfach Zeit und Mühe zu investieren. Wie bei jeder anderen Tätigkeit (Musik, Sport, Vertrieb usw.) erfordert es enorm viel Disziplin, wenn man Weltklasse werden will.

Noam Shazeer macht im SwiGLU-Papier eine schöne Anspielung auf die inhärente Zufälligkeit erfolgreicher Forschungsideen:

„Wir bieten keine Erklärung dafür, warum diese Architekturen zu funktionieren scheinen; wir schreiben ihren Erfolg, wie alles andere, der göttlichen Gnade zu.“

Ein damit zusammenhängender Kommentar ist, dass man zu viele Paper lesen kann. Wenn du ein Problem lösen willst, ist der bewährte Weg zum Erfolg, eine Lösung zu versuchen, sie auszuprobieren, an einen Engpass zu geraten, zu versuchen, ihn zu lösen, und erst dann zur Literatur zu greifen, wenn dir selbst keine Ideen mehr einfallen.

II.

Gut, aber woran soll ich arbeiten?

Wenn du gerade erst anfängst, hier meine ehrliche Antwort: Ich glaube, das genaue Thema spielt keine große Rolle.

Allerdings würde ich davor warnen, dir Dinge auszusuchen, die seit weniger als sechs Monaten populär sind. KI bewegt sich schnell, aber die grundlegenden Ideen haben sich in vierzig Jahren nicht geändert. Wenn du daraus eine Karriere machen willst, würde ich dir nicht raten, zu viel über die Konzepte von 2026 nachzudenken: Harnesses, Agents, Context Engineering usw. Diese werden sich ändern.

Stattdessen lernst du mehr, wenn du zu den Grundlagen zurückkehrst: Lerne, was Kreuzentropie ist. Berechne sie von Hand für eine kleine Verteilung. Verstehe SVD so tief, dass du anfangen kannst, es dir im Kopf vorzustellen. Denke nicht zu viel über RL speziell zum Programmieren nach, sondern lerne die Ideen hinter Policy-Gradienten, warum sie nützlich sind und warum sie seit Jahrzehnten populär sind.

Noch ein Meta-Kommentar: Wenn das bestmögliche Ergebnis deines Forschungsprojekts eine höhere Punktzahl auf einem bestehenden Benchmark ist, dann gehst du nicht tief genug. Oft testen bestehende Datensätze keine neuen interessanten Fähigkeiten.

Jason Wei macht einen ähnlichen Punkt:

Eine unterschätzte, aber gelegentlich entscheidende Fähigkeit in der KI-Forschung (die es vor zehn Jahren noch nicht wirklich gab) ist die Fähigkeit, einen Datensatz zu finden, der eine neue Methode, an der du arbeitest, tatsächlich trainiert.

Was eine konkrete Empfehlung angeht – ich kann keine geben; die muss von dir kommen. Geh in die Tiefe, konzentriere dich auf die Grundlagen und jage nicht nach Benchmarks. Bleib im Wasser, und die Ideen werden kommen.

III.

Im Geist des Anfängers gibt es viele Möglichkeiten; im Geist des Experten gibt es wenige – Suzuki

Im Silicon Valley wird häufig wiederholt, dass Erfahrung in der KI-Forschung heute vielleicht sogar kontraproduktiv für eine gute Forschungsintuition sein kann. Ich habe Teile davon aus nächster Nähe beobachtet; viele Forscher aus der Zeit vor dem Scaling bleiben daran interessiert, Methoden zu entwickeln, die im kleinen Maßstab funktionieren, aber offensichtlich scheitern, wenn sie in großem Maßstab getestet werden.

Eine wirklich beeindruckende Sache an OpenAI ist, dass die meisten Leute, die das Unternehmen leiten (zumindest auf der technischen Seite), unter 35 sind. Viele der wichtigen Entscheidungsträger hinter ChatGPT sind unter 30. Eine Sache, die wir daraus mitnehmen können, ist, dass KI ein so junges Feld ist (ChatGPT ist weniger als vier Jahre alt!), niemand einen großen Vorteil hat, weil niemand sehr lange daran gearbeitet hat.

Kurz gesagt, zu lange an Ideen festzuhalten, kann tatsächlich kontraproduktiv sein. Übe den Geist des Anfängers. Bleib offen und weigere dich, dein Urteilsvermögen von Ego trüben zu lassen.

IV.

Inspiration schlägt zu, wenn du sie am wenigsten erwartest.

Hier zwei Beispiele aus der Geschichte:

• Die Entdeckung der Struktur des Benzolrings kam bekanntermaßen in einem Traum: Die Struktur war nie zuvor gesehen worden, wurde aber als eine Schlange vorgestellt, die sich in den eigenen Schwanz beißt.
• Ozempic stammt im Grunde von Echsen. Das GLP-1-Hormon, das es nachahmt, wurde zuerst im Gift des Gila-Krustenechsen gefunden, einer Wüstenechse, die nur wenige Male im Jahr frisst. Irgendwie haben wir herausgefunden, wie das auch beim Menschen funktioniert.

Eine wichtige Erkenntnis ist, dass man für gute Forschung auch andere Dinge tun muss als nur Forschung. Die meisten meiner persönlichen „Aha-Momente“ passierten abseits der Tastatur, besonders beim Spazierengehen.

Darwin, Tesla, Feynman, Aristoteles. Viele große Denker der Geschichte haben die außergewöhnlichen Vorteile des Ausschreitens und eines kleinen Spaziergangs gepriesen. Auch wenn du keine Forschung betreibst, solltest du wahrscheinlich öfter spazieren gehen.

V.

Selbst wenn die Inspiration zuschlägt, ist die Natur möglicherweise nicht wohlgesonnen: Selbst bei perfekter Umsetzung könnte unsere Idee in einem grundlegenden Sinne einfach nicht wahr sein. Oder vielleicht war sie es oder scheint es zu sein. Wenn die Ergebnisse eintreffen, wie sollen wir reagieren?

Ein weiteres Prinzip, das wir vom Zen übernehmen können, ist die (experimentelle) Gleichmut.

Bei der Analyse eines Experiments:

Ist es gut gelaufen? Toll!

Ist es schlecht gelaufen? Auch toll!

Beide Ergebnisse lehren dich die gleiche Menge an Informationen. Tatsächlich kann man aus einer Reihe von negativen Ergebnissen oft mehr lernen als aus einem einzigen positiven Ergebnis. „Wow, es funktioniert immer noch nicht – unglaublich!“ Das ist eine gesunde Einstellung zur Forschung.

Die Kehrseite davon ist, dass du dich nicht zu sehr über gute Ergebnisse freuen solltest. Tatsächlich kommen die meisten guten Ergebnisse aufgrund eines Bugs; es ist nicht so, dass die Ergebnisse selbst gut waren, sondern dass du falsch gemessen und dich selbst überzeugt hast. Jeder möchte, dass seine Ideen funktionieren – und das ist gut so! – aber eines haben alle erfahrenen Forscher gemeinsam: extreme Skepsis, besonders angesichts von Ergebnissen, die zu gut erscheinen, um wahr zu sein. Leider sind sie das fast immer.

VI.

Eine Blume denkt nicht daran, mit der Blume neben ihr zu konkurrieren. Sie blüht einfach.

Forschung ist extrem ergebnisorientiert. Besonders in der Wissenschaft ist es leicht, auf die Erfolge anderer auf dem Papier zu schauen und in Emotionen zu verfallen.

Menschen haben aus unterschiedlichen Gründen Erfolg. Manche haben einfach Glück. Der akademische Begutachtungsprozess ist insbesondere weder konsistent noch fair. Wenn in deinem Bereich neue Forschung erscheint, die du bewunderst, stelle dir die folgende Frage:

Arbeite ich auf dem angemessenen Tiefgang, um diese Erkenntnis selbst gemacht zu haben?

Nun gibt es zwei mögliche Ergebnisse. Wenn die Antwort ja ist – großartig. Dein Prozess ist solide, aber du hast diese Entdeckung nicht gemacht; du warst beschäftigt, hast etwas anderes getan, aber du hättest es können.

Und wenn die Antwort nein ist – dann nimm das als Motivation, tiefer zu gehen.

VII.

vor der Erleuchtung, Holz hacken, Wasser tragen. nach der Erleuchtung, Holz hacken, Wasser tragen.

Viele erfolgreiche Projekte beinhalten typischerweise Hunderte von Stunden Knochenarbeit hinter den Kulissen. Andrej Karpathy hat einen nicht trivialen Teil von ImageNet von Hand etikettiert. Die Ersteller von SWEBench, die ihrer Zeit in vielerlei Hinsicht voraus waren, verbrachten Hunderte von Stunden damit, GitHub-Daten mühsam zu filtern, um eine kleine, handhabbare Menge von GitHub Issues zu erhalten, die für die Auswertung nützlich sind.

Wenn du dir die Karriere großer Forscher ansiehst, haben sie wahrscheinlich viel Zeit damit verbracht, im Verborgenen zu arbeiten, bevor sie Erfolg hatten. Gewöhne dich daran. Je ambitionierter und zukunftsweisender eine Idee ist, desto mehr Arbeit kann es sein, sie gründlich zu implementieren und zu evaluieren. Diese Schwierigkeit ist eine Eigenschaft, kein Fehler.

VIII.

Collin Raffel, ein fantastischer Forscher, den ich sehr respektiere, erwähnte einmal, dass er glaubt, viele Ideen scheitern nicht, weil sie schlecht sind, sondern weil der Code einen Bug hat, den der Forscher nie gefunden hat.

Im Allgemeinen ist das ein wirklich schwieriges Problem, besonders in der Welt der LLMs. Ein moderner Deep-Learning-Software-Stack ist extrem komplex, und Bugs können überall lauern: im Training, in der Inferenz, in Harnesses, in Daten.

Wenn etwas falsch aussieht, kannst du nicht weitermachen. Du kannst und solltest viele Metriken protokollieren und versuchen, sie alle zu verstehen. Wenn einige der Metriken anders aussehen als erwartet, musst du herausfinden, warum, denn etwas könnte falsch sein. Ich habe schon einmal getwittert, dass eine der wichtigsten Eigenschaften eines Forschers gesunde Paranoia ist. Sei paranoid!

IX.

Ein praktischer Punkt ist, dass die meisten Experimente, die Deep Learning beinhalten, zu lange dauern. Das Trainieren von Modellen kann Wochen oder Monate dauern. Heutzutage kann die Evaluierung eines Modells für eine einzige Aufgabe mehrere Tage in Anspruch nehmen.

Besonders beim Programmieren mit Agents ist unser Instinkt vielleicht, viele Experimente parallel zu starten und sie alle langsam laufen zu lassen. Obwohl einfache Parallelisierung bis zu einem gewissen Grad hilft, ist Kontextwechsel ein schädliches Muster.

Es ist von größter Bedeutung, dass du ergonomische Forschungsabläufe entwirfst, die schnelles experimentelles Feedback unterstützen. Verkürze die Kaltstartzeiten für das Training, mache kleine Evaluierungen, die schnell Ergebnisse liefern. Ich bewundere Keller Jordans nanoGPT Speedrun als Beispiel dafür, wie viel wir aus schnellen Iterationszyklen lernen können.

(Das heißt, am Ende des Tages brauchen einige Ergebnisse unvermeidlich lange. Wenn du kannst, ist es eine unglaublich nützliche Fähigkeit, den Zustand über mehrere Tage hinweg aufrechtzuerhalten und die Experimente von letzter Woche zu verstehen, wenn sie heute fertig werden.)

X.

Programmier-Agents helfen dir, schneller zu arbeiten, aber sie verschlimmern zwei Probleme: Wir haben es schwerer, grundlegende Details zu verstehen, und wir wechseln öfter den Kontext. Ein guter Forscher arbeitet aktiv daran, beiden Kräften entgegenzuwirken.

Codex kann ein Training-Skript für dich schreiben; es kann das Skript sogar ausführen, es während der Ausführung betreuen, die Ergebnisse interpretieren und sie dir per E-Mail senden. Aber vielleicht ist es auf einen Fehler gestoßen und hat das System-Prompt ohne dich zu fragen verkürzt. Vielleicht hat es die Sequenzlängen verkürzt, um die Evaluierung in angemessener Zeit zum Laufen zu bringen. Vielleicht hat es die falsche Konfiguration ausgeführt, weil du sie nicht angegeben hast.

Aus technischer Sicht sind das alles kleine Fehler mit einfacher Behebung. Aber aus wissenschaftlicher Sicht sind sie schwerwiegend: Kleine Auslassungen wie diese können wichtige Ergebnisse von Papieren materiell verändern und sind daher nicht akzeptabel. Hüte dich vor Drachen. Selbst wenn du den Code nicht geschrieben hast – wenn du deine Ergebnisse verstehen willst, musst du das System verstehen, das sie produziert hat.

Ich will ehrlich zu dir sein – das ist schwer! Es ist verlockend, das Verständnis an die Maschine auszulagern. Für viele Anwendungen ist es schneller. Aber gute Wissenschaft zu betreiben erfordert, dass du lernst, wie das gesamte System funktioniert, damit du sicher sein kannst, dass die Beobachtungen darüber wahr sind. Daran führt kein einfacher Weg vorbei.

XI.

Zusammenfassung: Talent ist nicht alles, was man braucht, um ein erfolgreicher Forscher zu werden. Temperament wird stark unterschätzt. Bleib neugierig und beharrlich, bleib bedacht und sorgfältig, und die Ideen werden kommen.