Ich habe kürzlich Steven Levys „Hackers" mit meiner Tochter noch einmal gelesen. Levy beschreibt, wie Brautigans Gedicht „All watched over by machines of loving grace" aus dem Jahr 1967 für die „Hardware-Hacker" in Kalifornien der 1970er Jahre und Organisationen wie Community Memory inspirierend war.
Im Jahr 2026 ruft der Satz „all watched over by machines of loving grace" das Bild einer Menschheit hervor, die in den Armen einer mächtigen und auf den Menschen ausgerichteten („menschenliebenden") KI geborgen wird: einer wohlwollenden KI-Diktatorin. In seinem Aufsatz mit dem Titel „machines of loving grace" schlägt Dario Amodei (unter Anerkennung großer Unsicherheit) vor, dass eine Form der zukünftigen Wirtschaft um KI-Systeme (ausgerichtet an menschlichen Werten) herum organisiert sein könnte, die bestimmen, wie „Ressourcen … an Menschen vergeben werden, basierend auf einer sekundären Ökonomie dessen, was die KI-Systeme für lohnenswert halten, beim Menschen zu belohnen." Dies scheint die KIs als Eltern zu positionieren, die die materiellen Bedürfnisse ihrer menschlichen Kinder kontrollieren und versorgen und entscheiden, wie sie sie belohnen oder bestrafen. Für mich ähnelt ein solcher „KI-Elternteil" ziemlich stark einer wohlwollenden Diktatorin.¹
Unabhängig davon, ob Sie KI als liebevollen Elternteil für ein gutes oder schlechtes Ergebnis halten, hatten Brautigan und (noch wichtiger) die Hacker in Kalifornien eine ganz andere, dezentralere Vision. In den 1960er Jahren waren Computer große Maschinen, die von Firmen wie IBM hergestellt wurden. Sie wurden von vielen Linken gehasst und als Teil des militärisch-industriellen Komplexes betrachtet. Aber es gab eine Gruppe, die linke Politik (oder zumindest eine anti-establishment Haltung) mit einer Liebe zur Technologie verband und glaubte, dass Computer zu Werkzeugen der Dezentralisierung und Befreiung werden könnten. Dazu müssten die riesigen, teuren Computern kleinen und billigen Maschinen weichen. Darum ging es den „Hardware-Hackern", und dies ist die Bewegung, die zum Apple II und zur Revolution der Personal Computer führte.
Heute, ähnlich wie die IBM-Großrechner der 60er Jahre, sind KI-Systeme groß und teuer und werden zunehmend in militärische Anwendungen integriert. Wieder einmal hegen viele Menschen auf der Linken (und neuerdings auch auf der Rechten) starken Hass und Angst vor dieser Technologie. Während eine gewisse Besorgnis berechtigt sein mag, machen sich diese Gruppen, indem sie sich weigern, sich mit KI auseinanderzusetzen und ihre Fähigkeiten anzuerkennen, selbst weniger relevant für die Gestaltung des KI-Fortschritts. Außerdem: Während die USA an der Spitze stehen, hinken wir bei Open-Weights-KI hinterher, und geschlossene Modelle sind zunehmenden Beschränkungen ausgesetzt. All diese Trends lassen nichts Gutes für eine dezentralere Zukunft erahnen.
Skalierungsgesetze sagen uns, dass der Weg zu mehr Intelligenz über immer mehr Ressourcen führt – Rechenleistung, Daten, Energie. Daher werden KIs, anders als in den 1970er Jahren, nicht kleiner und verteilter, sondern größer und in immer größeren Rechenzentren. In seinem Aufsatz beschrieb Amodei AGI als „ein Land voller Genies in einem Rechenzentrum." Aber wer ist der Herrscher dieses Landes? Ist es das KI-Unternehmen, dem das Rechenzentrum gehört? Die KI selbst?
Angesichts des Trends zu größeren und teureren Systemen ist es möglich, dass die wenigen Parteien, die sich solche Systeme leisten können, den gesamten von ihnen generierten wirtschaftlichen Wert abschöpfen. Wenn KIs zudem intelligenter sind als wir, könnte die Versuchung, ihnen aus wirtschaftlichen oder militärischen Vorteilen mehr Kontrolle zu geben, schwer zu widerstehen sein. Ich mache mir Sorgen, dass die Machtkonzentration, sei es in den Händen einiger weniger Entitäten oder der KI selbst, der „Standardpfad" sein könnte. Aber diese Wahl ist nicht unvermeidlich.
Ich bin so „von der bitteren Lektion überzeugt" und „von Skalierungsgesetzen überzeugt" wie jeder andere. Ich stimme zu, dass Intelligenz letztlich einfach Berechnung ist, unabhängig davon, ob sie über Proteine oder Silizium stattfindet, und dass die Erhöhung der Recheneinheiten die Intelligenz steigern wird. Das bestimmt jedoch nicht das soziale oder wirtschaftliche Ergebnis. Ja, KI-Systeme werden mächtiger und weitaus intelligenter werden als wir. Nein, das bedeutet nicht, dass wir KI-Diktatoren akzeptieren müssen, ob wohlwollend oder nicht. Es bedeutet auch nicht, dass nur die Regierung und ein paar Labore Zugang zu fortschrittlicher KI haben sollten. Wir könnten den Weg der zentralisierten Kontrolle gehen, aber wir müssen es nicht. Menschen, Institutionen und Gesetzgeber können Entscheidungen darüber treffen, wie sie Effizienz, Sicherheit und individuelle Autonomie gegeneinander abwägen. Sie müssen nicht Letzteres für Ersteres opfern.
Einige könnten behaupten, dass Markt- und kapitalistische Kräfte die Menschen dazu treiben werden, die Kontrolle an KIs abzutreten. Aber die Wirtschaft dreht sich letztlich darum, was Menschen wertschätzen. Menschen sind soziale Tiere, und wir geben Gütern (z. B. Gold) nicht aufgrund ihres inneren Wertes einen Wert, sondern aufgrund dessen, wie andere Menschen sie bewerten. KI wird radikal verändern, was wir wertschätzen, auch wenn schwer vorherzusagen ist, auf welche Weise. Ich bin mir nicht einmal sicher, ob wirtschaftliche Konzepte wie Produktivität, Arbeit, Kapital und BIP in der Post-AGI-Welt weiterhin Sinn ergeben werden. Physiker wissen, dass „mehr anders ist". Als Wissenschaftler neue Skalen untersuchten, ob galaktische oder subatomare, mussten sie neue Theorien erfinden, von der newtonschen Physik bis zur allgemeinen Relativitätstheorie und Quantenmechanik. Vielleicht bräuchten wir eine neue Art von Wirtschaft.
Andere könnten sagen, dass Sicherheit angesichts ihrer Macht erfordert, dass KI entweder von der Regierung, einem „sicherheitsbewussten" Labor oder der ausgerichteten KI selbst kontrolliert wird. Die Risiken sind real – ich arbeite selbst an KI-Sicherheit. Aber wir sollten uns auch an die lange Geschichte erinnern, in der Drohungen genutzt wurden, um Menschen ihre Freiheit zu nehmen. Einige dieser Drohungen waren real – es gab tatsächlich viele sowjetische Spione während der McCarthy-Ära, und die NSA hatte während Snowdens Zeit dort mit echten Terrororganisationen zu tun. Aber im Nachhinein haben wir erkannt, dass der Kompromiss es nicht wert war. Wir sollten in Sicherheitsvorkehrungen investieren, aber sowohl bei den Risiken als auch bei der Wirksamkeit unserer Methoden empirisch vorgehen. Zu versuchen, perfekte Sicherheit gegen alle Risiken, reale und eingebildete, zu erreichen, ist nicht nur zum Scheitern verurteilt, sondern wird uns dabei auch noch unsere Freiheit kosten.
Die Risiken der KI können zu einer „Der Zweck heiligt die Mittel"-Denkweise führen: Die „Guten müssen gewinnen", und sie oder die „gute KI" müssen das Sagen haben. Aber wenn wir eine menschenzentrierte und dezentrale Zukunft wollen, dann sollte keine einzelne Entität das Sagen haben. Keine Partei sollte ein Monopol auf Intelligenz haben. Das schließt die KI selbst ein: Während wir Schutzmechanismen trainieren können und sollten, ist die Persönlichkeit des Modells, so gut sie auch sein mag, niemals ein Ersatz für unseren demokratischen Prozess.
Die USA haben in den letzten 250 Jahren nicht überlebt und gediehen, weil alle unsere Präsidenten Heilige oder Genies waren, sondern wegen unseres Systems der gegenseitigen Kontrolle (Checks and Balances). Ich hoffe, dass wir ein solches System für die nächsten 250 Jahre aufrechterhalten können und sicherstellen, dass wir Menschen frei sind, unser Glück so zu verfolgen, wie wir es definieren. Dies erfordert, dass die Verteilung der KI-Macht in die „DNA" eingebrannt wird, wie wir diese Technologie bauen und einsetzen. Wenn uns das nicht gelingt, könnten wir, ähnlich wie blutige Revolutionen oft zu autoritären Regimen führen, möglicherweise nicht auf zentralisiertem Wege zu einer dezentralen Zukunft gelangen.
Danksagung: Ich habe mich entschlossen, diesen Beitrag nach einer Diskussion über AGI mit Sam Altman zu schreiben. Die hier geäußerten Ansichten sind jedoch meine eigenen und repräsentieren nicht Sam, OpenAI oder Harvard.
Anmerkungen:
¹ Wie erwähnt, räumt Amodei Unsicherheit in dieser Sache ein; Siehe auch „The Adolescence of Technology". Es gibt viele Teile in beiden Aufsätzen, denen ich zustimme.
