Jeder nutzt KI. Fast niemand versteht, wie sie wirklich funktioniert. Leute werfen mit Begriffen wie Transformer, Embeddings, RAG, Agenten, RLHF um sich … als ob jeder sie bereits kennen würde. Die meisten tun es nicht. Und um ehrlich zu sein? KI ist gar nicht so kompliziert, sobald man ihre Denkmodelle versteht. ChatGPT. Claude. Midjourney. Cursor. Coding-Agenten. Sie alle ergeben Sinn, sobald du die 20 Konzepte unten verstehst. Du brauchst keinen Doktortitel. Null Fachjargon. Nur einfache Erklärungen und visuelle Ressourcen. Speichere dir das. Du wirst es wieder brauchen.
TEIL 1: WIE KI WIRKLICH FUNKTIONIERT (Die Grundlage, auf der alles aufbaut)
1. Neuronale Netze
Das Gehirn jedes KI-Modells.
Ein neuronales Netz ist eine Abfolge von Schichten.
→ Daten treten durch die Eingabeschicht ein → Durchlaufen verborgene Schichten → Kommen als Vorhersage heraus.
Jede Verbindung hat ein „Gewicht" – einen kleinen Wert, der steuert, wie viel Einfluss ein Neuron auf das nächste hat.
Training = Milliarden dieser Gewichte anpassen, bis das Ergebnis genau ist.
Eine einfache Idee. In großem Maßstab verrückt.
GPT-4 hat ~1,8 Billionen Parameter. Claude 3 Opus hat Hunderte von Milliarden.
Alles basierend auf dem gleichen grundlegenden Konzept: Neuronen in Schichten mit anpassbaren Verbindungen.
2. Tokenisierung
Bevor KI deinen Text liest, zerlegt sie ihn in Stücke, die Token genannt werden.
Sie sind nicht immer vollständige Wörter.
„spielen" → „spiel" + „en"
„ChatGPT" → „Chat" + „G" + „PT"
„Hund" → „Hund" (bleibt ganz)
Warum nicht einfach ganze Wörter verwenden?
Sprache ist chaotisch. Neue Wörter. Tippfehler. Gemischte Sprachen. Ein festgelegter Wortschatz wäre unmöglich groß.
Token sind wiederverwendbare Bausteine.
Selbst wenn das Modell ein Wort noch nie gesehen hat, kann es es verstehen, indem es es in vertraute Fragmente zerlegt.
Faustregel: 1 Token ≈ 0,75 Wörter.
1000 Token ≈ 750 Wörter.
3. Embeddings
Sobald Text tokenisiert ist, wird jedes Token in eine Zahl umgewandelt.
Diese Zahl ist ein Embedding, ein Vektor, der Bedeutung repräsentiert.
Stell es dir wie Google Maps für Wörter vor.
→ „Arzt" und „Krankenschwester" liegen nahe beieinander
→ „Arzt" und „Pizza" liegen weit auseinander
→ „König" minus „Mann" plus „Frau" ≈ „Königin"
Das Modell versteht Wörter nicht so wie du.
Es versteht Distanz und Richtung.
Das ist die Grundlage für:
→ Semantische Suche
→ Empfehlungen
→ RAG-Systeme
Alles, was „Absicht versteht", verwendet Embeddings im Hintergrund.
4. Aufmerksamkeit (Attention)
Das Wort „Apfel" bedeutet verschiedene Dinge:
→ „Ich habe einen Apfel gegessen" → Frucht
→ „Ich habe Apple-Aktien gekauft" → Unternehmen
Embeddings allein können das nicht lösen.
Aufmerksamkeit kann das.
Aufmerksamkeit erlaubt es jedem Wort, jedes andere Wort in einem Satz anzusehen und zu entscheiden, was wichtig ist.
In „Sie kaufte Apple-Aktien":
→ „Apple" schenkt „Aktien" und „kaufte" besondere Aufmerksamkeit
→ Das Modell schlussfolgert: Unternehmen, nicht Frucht
Vor Aufmerksamkeit lasen Modelle von links nach rechts. Langsam. Begrenzt.
Nach Aufmerksamkeit sehen Modelle den gesamten Satz auf einmal.
Diese eine Idee hat die moderne KI freigeschaltet.
5. Transformer
Die Architektur, die fast jedes heutige KI-Modell antreibt.
Eingeführt 2017 in einem Forschungsartikel namens „Attention Is All You Need."
Der Durchbruch: Anstatt Text Wort für Wort zu lesen, verarbeitet er alles parallel mithilfe von Aufmerksamkeit.
Wie es funktioniert:
→ Text → Token → Embeddings → Gestapelte Aufmerksamkeitsschichten → Ergebnis
Jede Schicht verfeinert das Verständnis:
→ Frühe Schichten: Grammatik, Grundstruktur
→ Mittlere Schichten: Beziehungen zwischen Wörtern
→ Tiefe Schichten: komplexes Denken
Das Ergebnis: enorm schnelleres Training und viel bessere Ergebnisse.
GPT. Claude. Gemini. Llama. Mistral.
Sie sind alle Transformer.
Wenn du diese eine Architektur verstehst, verstehst du moderne KI.
TEIL 2: WIE LLMS FUNKTIONIEREN (Was tatsächlich passiert, wenn du mit einer KI chattest)
6. LLM (Large Language Models)
Ein LLM ist ein Transformer, der mit einer riesigen Menge an Text trainiert wurde.
Bücher. Websites. Code. Wikipedia. Reddit.
Billionen von Token.
Die Trainingsaufgabe klingt zu einfach, um mächtig zu sein:
→ Sage das nächste Token voraus.
Das ist alles.
Aber wenn du dies über Billionen von Beispielen wiederholst, passiert etwas Außergewöhnliches.
Das Modell lernt Grammatik. Dann logisches Denken. Dann, wie man Code schreibt, Sprachen übersetzt, Matheaufgaben löst.
Niemand hat ihm befohlen, irgendetwas davon zu tun.
Es entstand aus der Vorhersage des nächsten Tokens in großem Maßstab.
„Large" = Hunderte von Milliarden Parametern. Trainingskosten = Millionen von Dollar.
ChatGPT, Claude, Gemini → sie sind alle LLMs.
7. Kontextfenster
Jedes KI-Modell hat eine Gedächtnisgrenze.
Sie wird Kontextfenster genannt.
Es ist die maximale Anzahl von Token, die das Modell auf einmal „sehen" kann: deine Eingabeaufforderung + seine Antwort + der Gesprächsverlauf.
Frühe GPTs: ~4.000 Token. GPT-4: 128.000 Token. Claude 3.5: 200.000 Token. Gemini 1.5 Pro: 1.000.000 Token.
Größeres Fenster = mehr Kontext = bessere Antworten.
Aber es gibt einen Haken.
Modelle lesen nicht alles gleich.
Sie konzentrieren sich auf den Anfang und das Ende des Kontexts.
Die Mitte? Oft ignoriert.
Dies wird als das „Lost in the Middle"-Problem bezeichnet.
Großes Kontextfenster ≠ perfektes Gedächtnis.
Dies zu verstehen erklärt, warum KI manchmal etwas „vergisst", das du klar erwähnt hast.
8. Temperatur
Wenn KI Text generiert, wählt sie nicht jedes Mal das einzig wahrscheinlichste nächste Wort.
Sie hat einen Regler namens Temperatur.
→ Temperatur = 0: wählt immer das sicherste, vorhersehbarste Wort
→ Temperatur = 1: wählt mit mehr Kreativität, mehr Abwechslung
→ Temperatur = 2+: wird extrem, manchmal inkohärent
Niedrige Temperatur → verwenden für: Code, Daten, Zusammenfassungen
Hohe Temperatur → verwenden für: Brainstorming, kreatives Schreiben, Variationen
Die meisten Tools stellen dies automatisch für dich ein.
Aber es zu verstehen erklärt, warum KI sich manchmal „langweilig" anfühlt und dich manchmal überrascht.
9. Halluzination
KI lügt mit Selbstvertrauen.
Nicht absichtlich. Sie kann buchstäblich nicht anders.
Hier ist der Grund.
Ein LLM sucht nicht nach der Wahrheit.
Es sagt voraus, was das wahrscheinlichste nächste Token ist.
Wenn eine falsche Aussage wie etwas aussieht, das „als nächstes kommen sollte", basierend auf Trainingsmustern, generiert es sie.
Keine Faktenprüfung. Kein Datenbankabruf. Reine Mustererkennung.
Also wird es:
→ Ein Forschungspapier zitieren, das es nicht gibt
→ Eine API-Funktion erfinden, die nie erstellt wurde
→ Eine falsche historische „Tatsache" mit absoluter Sicherheit behaupten
Dies wird Halluzination genannt.
Die Lösung: Vertraue niemals der KI-Ausgabe bei faktischen Daten ohne Überprüfung.
Verwende RAG (Konzept 16), um sie in echten Daten zu verankern.
10. Prompt Engineering
Die Art und Weise, wie du fragst, ändert alles.
Gleiches Modell. Gleiche Frage. Drastisch unterschiedliche Ergebnisse, je nachdem, wie du sie formulierst.
Schlechter Prompt: → „Erkläre APIs" → Ergebnis: vage, oberflächliche Antwort
Guter Prompt: → „Erkläre, wie REST-APIs die Authentifizierung handhaben. Gib ein echtes Beispiel mit Code. Nimm an, ich bin ein Junior-Entwickler." → Ergebnis: spezifisch, strukturiert, sofort nützlich
Prompt Engineering ist einfach klare Kommunikation.
Die Tricks, die tatsächlich funktionieren: → Kontext geben („Ich baue eine SaaS für X") → Eine Rolle zuweisen („Handle als Senior Backend Engineer") → Beispiele zeigen („Hier ist ein Format, das ich mag: ___") → Sei spezifisch bezüglich der Ausgabe („Gib mir 5 Optionen als nummerierte Liste") → Zerlege komplexe Anfragen in Schritte
Prompt Engineering ist kein Hack.
Es ist die Hauptart, wie du mit dem Modell kommunizierst.
TEIL 3: WIE KI-MODELLE VERBESSERT WERDEN (Wie rohe Modelle zu nützlichen Produkten werden)
11. Transferlernen
Training von Grund auf ist teuer.
Unglaubliche Datenmengen. Massive Rechenleistung. Wochenlanges Training.
Transferlernen löst dies.
Du nimmst ein Modell, das bereits für eine große allgemeine Aufgabe trainiert wurde, und passt es für etwas Spezifisches an.
Du beginnst nicht bei Null. Du baust auf einem Fundament auf.
Stell es dir so vor:
→ Du kannst bereits Fahrrad fahren
→ Motorradfahren zu lernen geht dadurch viel schneller
→ Du überträgst, was du bereits weißt
So funktionieren fast alle KI-Produkte heute:
→ OpenAI trainiert ein massives Basismodell
→ Unternehmen feintunen es für ihren spezifischen Anwendungsfall
→ Spart Millionen an Rechenleistung und Monate an Training
Kein Unternehmen trainiert mehr von Grund auf.
12. Feintuning (Fine-Tuning)
Transferlernen erklärt das Konzept.
Feintuning ist, wie du es ausführst.
Du nimmst ein vortrainiertes Modell und trainierst es weiter auf einem kleineren, spezifischen Datensatz.
Das Modell beherrscht bereits „Sprache."
Jetzt bringst du ihm dein spezielles Fachgebiet bei.
Beispiele:
→ Medizinisches Modell, feinjustiert auf klinischen Notizen
→ Juristisches Modell, feinjustiert auf Verträgen
→ Codierungsmodell, feinjustiert auf GitHub
Das Ergebnis: ein Modell, das perfekt für deinen Anwendungsfall antwortet.
Die Kosten: Du musst Milliarden von Parametern aktualisieren.
Das erfordert schwere Rechenleistung: mehrere GPUs und ernsthafte Infrastruktur.
(Deshalb ist LoRA, das nächste Konzept, so wichtig).
13. RLHF (Verstärkungslernen durch menschliches Feedback)
Feintuning macht Modelle spezialisiert.
RLHF macht sie hilfreich und sicher.
Ohne RLHF: Das Modell sagt nur Text voraus. Fließend, aber nicht ausgerichtet.
Mit RLHF: Das Modell lernt, was Menschen tatsächlich bevorzugen.
Wie es funktioniert:
→ Ein Prompt wird dem Modell gezeigt → Das Modell generiert mehrere Antworten → Menschen bewerten die Antworten → Das Modell lernt, das zu bevorzugen, was Menschen bevorzugen
Dies wiederholt sich tausendfach.
Das Modell entwickelt ein Gespür für eine „gute Antwort":
→ Klar
→ Hilfreich
→ Ehrlich
→ Sicher
Deshalb fühlen sich ChatGPT und Claude wie Assistenten an, nicht wie zufällige Textgeneratoren.
Ohne RLHF wären sie immer noch beeindruckend. Aber viel weniger nützlich, weniger zuverlässig und viel schwerer zu kontrollieren.
14. LoRA (Low-Rank Adaptation)
Feintuning ist mächtig, aber teuer.
Milliarden von Parametern zu aktualisieren erfordert mehrere GPUs und ernsthafte Infrastruktur.
LoRA löst dies.
Anstatt das gesamte Modell zu ändern, macht LoRA Folgendes:
→ Behält das ursprüngliche Modell eingefroren
→ Fügt winzige trainierbare Schichten oben hinzu
→ Diese Schichten sind ein Bruchteil der vollen Modellgröße
Der Schlüssel: Die meisten Änderungen beim Feintuning sind klein.
Du musst nicht das ganze Modell umschreiben.
Du brauchst nur spezifische kleine Anpassungen.
Ergebnisse:
→ Feintuning auf einer einzelnen Consumer-GPU: möglich
→ Speichern eines Basismodells + Austauschen verschiedener LoRA-Adapter: praktikabel
→ Mehrere spezialisierte Modelle ohne massiven Speicherplatz: erreicht
LoRA ist der Grund, warum Open-Source-KI explodiert ist.
Plötzlich konnte jeder leistungsstarke Modelle auf einem Laptop feintunen.
15. Quantisierung
Modelle werden riesig.
Sie auszuführen erfordert massiven Speicher und Rechenleistung.
Quantisierung macht sie kleiner und billiger im Betrieb.
Wie: Durch Reduzierung der Genauigkeit jedes Gewichts.
Ein in voller Genauigkeit gespeichertes Gewicht verwendet 32 Bits.
Auf 4 Bits quantisiert → 8x kleiner.
Das Unglaubliche: Der Qualitätsverlust ist oft überraschend gering.
Deshalb kannst du jetzt:
→ LLaMA auf einem MacBook ausführen
→ Mistral lokal auf einer Consumer-GPU ausführen
→ Leistungsstarke Modelle auf einem Telefon nutzen
Ohne Quantisierung würden große Modelle in Rechenzentren eingesperrt bleiben.
Mit Quantisierung laufen sie auf deinem Rechner.
TEIL 4: WIE ECHTE KI-SYSTEME GEBaut WERDEN (Was hinter den Produkten steckt, die du tatsächlich nutzt)
16. RAG (Retrieval-Augmented Generation)
LLMs halluzinieren, weil sie aus dem Gedächtnis antworten.
RAG behebt dies, indem es ihnen erlaubt, zuerst Informationen nachzuschlagen.
Wie es funktioniert:
Der Benutzer stellt eine Frage
Das System sucht nach relevanten Dokumenten in einer Wissensdatenbank
Diese Dokumente werden dem Modell als Kontext gegeben
Das Modell antwortet mit echten Informationen, nicht mit Vermutungen
Stell es dir so vor:
→ Geschlossene-Buch-Prüfung (ohne RAG): Antworten aus dem Gedächtnis, oft falsch
→ Offene-Buch-Prüfung (mit RAG): Blick in die Quelle, viel genauer
Warum es mächtig ist:
→ Kein erneutes Training erforderlich, wenn sich deine Daten ändern, aktualisiere einfach die Dokumente
→ Modell arbeitet immer mit aktuellen, genauen Informationen
→ Reduziert Halluzinationen drastisch
Jedes ernsthafte KI-Produkt verwendet RAG.
Kundendienst-Bots. Juristische Tools. Medizinische Assistenten. Interne Wissensdatenbanken.
17. Vektordatenbanken
RAG muss die richtigen Dokumente schnell finden.
Aber wie durchsucht man Millionen von Dokumenten nach Bedeutung und nicht nur nach Schlüsselwörtern?
Vektordatenbanken.
Wie sie funktionieren:
Jedes Dokument wird in ein Embedding (einen Vektor aus Zahlen) umgewandelt.
Diese Vektoren werden in der Datenbank gespeichert.
Wenn ein Benutzer eine Frage stellt, wird die Frage ebenfalls in einen Vektor umgewandelt.
Die Datenbank findet die Vektoren, die dem Fragevektor am nächsten sind.
Sie gibt die semantisch ähnlichsten Dokumente zurück.
Warum dies besser ist als die Schlüsselwortsuche:
→ „Herzkrankheitsbehandlung" findet Dokumente über „Herzpflegeprotokolle"
→ Selbst wenn die genauen Wörter nicht übereinstimmen, stimmt die Bedeutung überein.
Tools: Pinecone, Qdrant, Weaviate, pgvector.
Vektordatenbanken ermöglichen es KI-Systemen zu „verstehen" und nicht nur Textzeichenfolgen abzugleichen.
18. KI-Agenten
Ein LLM beantwortet Eingabeaufforderungen.
Ein KI-Agent erledigt tatsächlich Dinge.
Der Unterschied:
→ LLM: du fragst, es antwortet, Ende
→ Agent: du gibst ihm ein Ziel, es plant, handelt, überprüft Ergebnisse, passt an, wiederholt
Die Agentenschleife:
Denken → Handeln → Beobachten → Wiederholen
Beispiel: ein Codierungsagent, der einen Fehler behebt
→ Liest das Problem
→ Durchsucht den Quellcode
→ Identifiziert den Fehler
→ Schreibt eine Korrektur
→ Führt Tests aus
→ Beobachtet, was fehlgeschlagen ist
→ Passt die Korrektur an
→ Wiederholt, bis fertig
Das Modell ist das Gehirn. Werkzeuge sind die Hände.
Welche Werkzeuge können Agenten verwenden?
→ Websuche
→ Codeausführung
→ Dateisystem
→ APIs
→ E-Mail / Kalender
→ Datenbanken
Agenten verwandeln KI von einem einfachen Chatbot in einen Mitarbeiter.
19. Gedankenkette (Chain of Thought, CoT)
Manchmal gibt KI eine falsche Antwort, nicht weil sie dumm ist.
Sondern weil sie zu schnell zur Antwort gesprungen ist.
Die Gedankenkette behebt dies.
Anstatt direkt nach der endgültigen Antwort zu fragen:
→ „Löse: Wenn ein Zug 2,5 Stunden lang mit 60 mph fährt, wie weit kommt er?"
Du sagst ihm, Schritt für Schritt zu denken:
→ „Löse Schritt für Schritt: Geschwindigkeit = 60 mph. Zeit = 2,5 Stunden. Entfernung = Geschwindigkeit × Zeit = ?"
Das Modell geht die Argumentation durch:
→ Schritt 1: Identifiziere die Formel
→ Schritt 2: Setze die Zahlen ein
→ Schritt 3: Berechne
Es ist viel zuverlässiger für Mathematik, Logik und mehrstufige Probleme.
Der Schlüssel: Dem Modell Raum zum Denken geben, nicht nur zum Reagieren.
Deshalb funktionieren Aufforderungen wie „denke Schritt für Schritt" oder „überlege dies sorgfältig" tatsächlich.
20. Diffusionsmodelle
Bisher drehte sich alles um Text.
Diffusionsmodelle erklären, wie KI Bilder generiert.
Der Prozess ist kontraintuitiv.
Das Modell lernt nicht zu zeichnen.
Es lernt, Bilder zu zerstören.
Training:
→ Beginnt mit einem echten Bild
→ Fügt Schritt für Schritt Rauschen hinzu, bis es reines Rauschen ist
→ Trainiert das Modell, dies umzukehren, indem es Schritt für Schritt Rauschen entfernt
Generierung:
→ Beginnt mit reinem Rauschen
→ Modell entfernt Schritt für Schritt Rauschen
→ Geführt durch deine Texteingabeaufforderung
→ Das Bild entsteht aus dem Zufall
Der Name kommt aus der Physik: Partikel, die sich zufällig durch ein Medium verteilen, wie Tinte, die sich in Wasser ausbreitet.
Hier lernt das Modell, diese Diffusion umzukehren.
Es sind nicht mehr nur Bilder:
→ Video (Sora, Runway)
→ Audio
→ 3D-Inhalte
→ Arzneimittelmoleküle
Diffusionsmodelle sind die Art und Weise, wie KI alles Visuelle generiert.
Das sind die 20. Lass mich zusammenfassen:
Wie KI funktioniert:
→ 1. Neuronale Netze: schichtweises Musterlernen
→ 2. Tokenisierung: Text in Stücke zerlegen
→ 3. Embeddings: Bedeutung als Zahlen
→ 4. Aufmerksamkeit: Kontext ändert Bedeutung
→ 5. Transformer: die Architektur hinter allem
Wie LLMs funktionieren:
→ 6. LLM: Vorhersage des nächsten Tokens in großem Maßstab
→ 7. Kontextfenster: Gedächtnisgrenzen und das Problem der Mitte
→ 8. Temperatur: der Kreativitätsregler
→ 9. Halluzination: selbstbewusst und falsch
→ 10. Prompt Engineering: wie du kommunizierst
Wie Modelle verbessert werden:
→ 11. Transferlernen: aufbauen auf dem, was existiert
→ 12. Feintuning: ein Modell spezialisieren
→ 13. RLHF: ihm beibringen, hilfreich zu sein
→ 14. LoRA: Feintuning ohne die Kosten
→ 15. Quantisierung: große Modelle auf kleinen Rechnern ausführen
Wie echte Systeme gebaut werden:
→ 16. RAG: erst suchen, dann antworten
→ 17. Vektordatenbanken: nach Bedeutung suchen
→ 18. KI-Agenten: vom Antworten zum Handeln
→ 19. Gedankenkette: ihm Raum zum Denken geben
→ 20. Diffusionsmodelle: vom Rauschen zum Bild
Jetzt verstehst du, wie KI tatsächlich funktioniert.
Die meisten Leute, die täglich KI nutzen, wissen das nicht.
Diese Lücke ist dein Vorteil.
Wenn das hilfreich war:
→ Teile es mit deinem Netzwerk
→ Folge @chesny für weitere Erklärungen wie diese
→ Speichere es als Referenz
Ich schreibe über KI, Produktentwicklung und Systeme, die funktionieren, während du schläfst.
