最近、娘と一緒にスティーブン・レヴィの『ハッカーズ』を読み直している。レヴィは、ブラウティガンの 1967 年の詩「愛の優雅さの機械が見守るすべて」が、1970 年代のカリフォルニアの「ハードウェア ハッカー」や Community Memory のような組織にどのような影響を与えたかを説明している。
2026 年において、「愛の優雅さの機械が見守るすべて」という言葉は、強力で人類に調和した（「人類を愛する」）AI、つまり慈悲深い AI の独裁者の腕の中に抱かれた人類のイメージを呼び起こす。実際、ダリオ・アモデイは「machines of loving grace」と題されたエッセイの中で（深い不確実性を認めつつも）、将来の経済の一形態として、AI システム（人間の価値観に合わせられた）が「何らかの二次的な経済に基づいて、AI システムが人間に報酬を与えるのが理にかなっていると思うリソースを…人間に配布する」方法を決定する、という形があり得ると示唆している。これは、AI を、人間の子供たちの物質的ニーズをコントロールし世話し、どのように報酬や罰を与えるかを決定する親として位置づけているように見える。私には、そのような「AI の親」は、慈悲深い独裁者にかなり近いものに思える。¹
AI を愛情深い親と見なすことが良い結果か悪い結果かに関わらず、ブラウティガン、そして（より重要なことに）カリフォルニアのハッカーたちは、全く異なる、より分散化されたビジョンを持っていた。1960 年代、コンピューターは IBM のような企業が作る大型の機械だった。それらは左派の多くから嫌われ、軍産複合体の一部と見なされていた。しかし、左派的な政治（あるいは少なくとも反体制的な態度）とテクノロジーへの愛情を組み合わせ、コンピューターが分散化と解放のツールになり得ると信じるグループがいた。そのためには、巨大で高価なコンピューターは、小型で安価な機械に取って代わられる必要があった。これこそが「ハードウェア ハッカー」の目的であり、Apple II とパーソナル コンピューター革命につながったムーブメントである。
今日、60 年代の IBM メインフレームのように、AI システムは大規模で高価であり、軍事用途への統合がますます進んでいる。再び、左派の多くの人々（そして最近では右派も）が、このテクノロジーに対して強い憎悪と恐怖を抱いている。ある種の懸念は正当化されるかもしれないが、AI に関与し、その能力を認識することを拒否することで、これらの層は AI の進歩を形作る上での重要性を低下させている。また、米国が最先端をリードしている一方で、我々はオープンウェイト AI で遅れをとっており、クローズドモデルはますます厳しい制限に直面している。これらの傾向はすべて、より分散化された未来にとって良い兆候とは言えない。
スケーリング則は、知能を高める方法が、ますます多くのリソース（計算能力、データ、電力）を必要とすることを教えている。したがって、1970 年代とは異なり、AI は小型化・分散化されるのではなく、大型化し、さらに大規模なデータセンターに収められている。アモデイはエッセイの中で、AGI を「データセンターの中の天才たちの国」と表現した。しかし、この国の統治者は誰なのか？データセンターを所有する AI 企業なのか？AI 自体なのか？
より大規模で高価なシステムへの傾向を考えると、そのようなシステムを購入できる少数の関係者が、それらが生み出す経済的価値のすべてを獲得する可能性がある。さらに、AI が我々よりも賢いのであれば、経済的または軍事的な優位性のために AI により多くの支配権を与えたいという誘惑に抗うのは難しいかもしれない。私は、少数の組織または AI 自体への権力の集中が「デフォルトの道筋」になるのではないかと心配している。しかし、この選択は不可避ではない。
私は誰よりも「苦い教訓を飲み込み」、「スケーリング則を信じている」。結局のところ、知能は、それがタンパク質であれシリコンであれ、単に計算であり、計算ユニットを増やすことで知能が向上することに同意する。しかし、これが社会的または経済的な結果を決定するわけではない。そう、AI システムはより強力になり、我々よりもはるかに賢くなるだろう。いいえ、だからといって我々が AI の独裁者（慈悲深いものであれ、そうでなくても）を受け入れる必要があるわけではない。また、政府と一部の研究所だけが高度な AI にアクセスできるべきだという意味でもない。我々は中央集権的な管理の道を進むこともできるが、そうする必要はない。人々、組織、立法者は、効率性、安全性、個人の自律性の間でどのようにトレードオフを行うかを選択できる。後者のために前者を犠牲にする必要はない。
市場と資本主義の力が、人々に AI への支配権を委ねるように駆り立てると主張する人もいるかもしれない。しかし、経済は結局のところ、人間が何を価値と感じるかに関係している。人間は社会的な動物であり、価値（例えば金）をその本質的価値ではなく、他の人間がそれをどのように評価するかによって与えている。AI は我々の価値観を根本的に変えるだろうが、その方法を予測するのは難しい。AGI 後の世界では、生産性、労働、資本、GDP といった経済の概念自体が意味をなさなくなるかもしれないとさえ思っている。物理学者は「多様性は異なる」ことを知っている。科学者が銀河規模や素粒子規模といった新しいスケールを研究するにつれて、ニュートン物理学から一般相対性理論や量子力学に至るまで、新しい理論を発明する必要があった。おそらく、我々には新しいタイプの経済が必要になるだろう。
また、その力の大きさを考えると、安全性を確保するには AI を政府、または「安全性を重視する」研究所、あるいは調和のとれた AI 自体によって管理される必要があると言う人もいるだろう。リスクは現実のものだ。私自身も AI の安全性に取り組んでいる。しかし、我々はまた、脅威を口実に人々の自由を奪ってきた長い歴史を覚えておくべきだ。これらの脅威の一部は現実のものだった。マッカーシー時代には確かに多くのソ連のスパイがいたし、スノーデンが NSA にいた時代には、NSA は実際のテロ組織に対処していた。しかし、後になって、そのトレードオフは価値がなかったことに気づいた。我々は安全対策に投資すべきだが、リスクと手法の有効性の両方について経験的に検証すべきである。現実のものと想像上のものを含むすべてのリスクに対して完全な安全性を達成しようとすることは、失敗する運命にあるだけでなく、その過程で自由を失うことになる。
AI のリスクは、「目的は手段を正当化する」という考え方につながる可能性がある。「善玉が勝たなければならない」のであり、彼らまたは「善玉 AI」が支配権を持つ必要がある。しかし、我々が人間中心で分散化された未来を望むなら、単一の主体が支配権を持つべきではない。いかなる関係者も知能を独占すべきではない。それには AI 自体も含まれる。ガードレールを訓練することはでき、またそうすべきだが、モデルの性格は、それがどれほど優れていても、決して我々の民主主義プロセスに取って代わるものではない。
米国が過去 250 年間、存続し繁栄してきたのは、大統領が全員聖人や天才だったからではなく、抑制と均衡のシステムがあったからだ。私は、このシステムを今後 250 年間も維持し、人間が自分たちの定義する幸福を追求する自由を確保できることを願っている。そのためには、AI の力の分散が、このテクノロジーの構築と展開方法の「DNA に組み込まれる」必要がある。そうしなければ、血なまぐさい革命がしばしば権威主義体制につながるように、中央集権的な手段を通じて分散化された未来に到達することはできないかもしれない。
謝辞: この投稿は、サム・アルトマンとの AGI に関する議論を受けて書くことにしました。ただし、ここでの見解は私自身のものであり、サム、OpenAI、またはハーバード大学を代表するものではありません。
注:
¹ 先に述べたように、アモデイはこの問題について不確実性を認めている。「テクノロジーの思春期」も参照。両方のエッセイには、私が同意する部分が多くある。
