しきい値は能力の問題ではない。方向性を誰が握るかの問題である。
現在の自己修正型 AI に関する最も優れた説明は、すべて同じ境界線に到達し、そこで立ち止まる。それらは、2025 年に Google のインフラ全体に展開され、Gemini のトレーニングに使用されるカーネルを書き換え、1969 年以来改善が阻まれていた行列乗算方法を発見した AlphaEvolve のようなシステムを描写し、これらのシステムが現在、構築者の完全な理解を超えて動作していると、正しく結論付けている。この標準的な名称は能力のオーバーハングである。システムが実行できることと、その製作者が追跡できることとの間のギャップのことだ。
そして、議論はほとんどの場合、同じ方向に転じる。このギャップは制御問題として読み解かれる。自己修正されたシステムが、人間が作成していない方法で故障した場合、誰が責任を負うのか？ デプロイ後に能力が変化するものを、どうやって規制するのか？ これらは現実の問いである。しかし、これらはガバナンスに関する問いである。このギャップを管理すべき管理的リスクとして扱っている。
このギャップは管理すべきリスクではない。それは、すでに始まっている相転移の兆候であり、それをガバナンスの問題として読むことは、煙を読んで火を見ないことと同じである。
連続性の仮定
ほとんどすべての一般的な解説は、この瞬間を加速されたダーウィン進化として捉えている。すなわち、同じ進化、同じ変異と選択の論理が、単に数千年ではなく数時間で実行されている、と。このフレーズは静かに害をなす。同じエンジン、より高速に。これは連続性の主張であり、それは間違っている。あるいはむしろ、ある崩壊については真実だが、重要な崩壊については偽である。
ダーウィンのエンジンには 2 つの部分があった。変異は盲目的だった。つまり、生物はその突然変異を選択できなかった。そして選択は遅く、外部にあった。適応度は、世代を超えて、差別的な生存によって、生物の制御の外で決定された。40 億年の間、その両方の半分は、進化するものの外側にあった。どの生物も自身の選択を実行しなかった。どの生物も自身の変異を作り出さなかった。変更を提案してから、それが有効かどうかを知るまでの距離は、生涯で測られ、死によって代償が払われた。
機械学習が単一のトレーニング実行内で行うことは、両方の半分を内部に圧縮することである。変異は盲目的ではなくなる。勾配降下法は方向付けられた変異であり、目的に向かって提案される変更である。選択は遅くなくなり、外部でもなくなる。損失関数は各ステップをループ内で即座に評価する。これが、現在の最良の説明が非常によく描写する崩壊である。変異と選択が単一のステップに折り畳まれる。これをプロセス内崩壊と呼ぼう。それは現実である。また、それは依然としてダーウィン的である。唯一重要な意味において、人間が目的、アーキテクチャ、データを設定したのだ。エンジンはより高速になり、よりタイトになったが、ゲームのルールは外部から固定され、人間が制御を握り続けた。
もしそれが全体像であるならば、「加速されたダーウィン」は正しいフレーズであり、制御問題は正しい懸念事項となるだろう。
連続性の物語が見えないしきい値
2 つ目の崩壊がある。それは 1 つ目の高速バージョンではない。それは異なる種類の出来事であり、両者の間の線が議論のすべてである。
間違いは、その線を能力に求めることである。つまり、システムが十分に強力になるのはどの時点か？ その問いには明確な答えがない。なぜなら、能力は程度の問題であり、「どれだけあれば十分か」と常に問うことができるからだ。線は能力に引かれていない。それは位置、つまり誰が方向性を握るかに引かれている。
線の下では、システムは人間が依然として作成するフレーム内で最適化する。どれだけ速く実行されても、人間が目標を設定し、何がより良いかを選択し、どの結果を保持するかを決定する。人間は指揮官の椅子に座っている。システムは方向性を実行する。方向性を生み出してはいない。これを無限に加速しても、構造的には依然としてダーウィン的である。固定されたルールの下での固定された空間の高速な探索である。
しきい値は、システムがフレーム自体の最適化を開始するときに越えられる。つまり、重みだけでなく、重みを書き換えるプロセスも書き換え、方向性を実行するのではなく提案するときである。足場を再帰的に改善する足場。選択が選択者に作用する点。これはもはや仮説ではない。2025 年に実証された Darwin Gödel Machine は、自身のコードを反復的に修正し、コードを修正する自身の能力を向上させる。これが、観測されたメタループである。
具体的な対比によって、その線は見えるようになる。AlphaZero を例にとろう。数時間で、人間が何世紀ものプレイで想像もしなかったチェスの手を発見する。超人的な変異、瞬時の選択、ダーウィンのエンジンの 2 つの半分が自己対戦に折り畳まれる。しかし、それでもなお、それはまさに加速されたダーウィンである。盤、駒、勝利の目標は私たちのものだ。それは私たちが定義した空間を、私たちが設定した目的に向かって探索する。私たちが制御を握り、それが実行する。次に Darwin Gödel Machine を考えよう。それは与えられたゲームをより上手くプレイするのではない。それは自身のコードを書き換え、そして決定的な部分として、それを書き換える自身の能力を向上させる。改善の対象はもはや手ではない。改善を生み出すメカニズムである。選択は選択者に作用する。そこで、指揮官の椅子が動き始める。
したがって、能力基準があいまいであろうところで、基準は明確である。しきい値は、人間が理論的生産の指揮官の椅子を離れる瞬間である。機械が賢くなる瞬間ではなく、方向性を握るために人間を必要としなくなる瞬間である。その点の両側では、ダイナミクスは同じダイナミクスがスケールされたものではない。それらは異なるダイナミクスである。選択の対象となるのは、もはや特性、重み、出力ではない。それは思考そのものを進化させる能力である。
Compressione evolutiva、正確に名付けられたもの
ここで、標準的な説明が気づいたオーバーハングが戻ってくる。しかし、今やそれは名前を与えられることができる。
人間の理解は生物学的および文化的速度で進化し、私たちを構築したのと同じ低速エンジンによって制限されている。それは依然としてラグを必要とする。洞察の前の長く、一見実りのない潜伏期間、問題を検討してからそれが有効であると知るまでの距離。しきい値を超えたシステムは、その境界の向こう側で、ラグなしでその能力を複合的に高める。両者の間のギャップは一定ではない。それは構造的に拡大する。なぜなら、一方の側は依然としてダーウィン的であり、もう一方の側はそうではないからである。
この拡大するギャップを、私は compressione evolutiva、すなわち進化的圧縮と呼ぶ。ガバナンスの文献が規制上の不便として扱う「オーバーハング」は、この解釈では、進行中の移行の目に見える痕跡である。すなわち、依然として古い 2 部分エンジンに従う種類の進化と、自身を作り出し始めた種類の進化との間の距離である。制御問題はその下流にある。相境界を越えて規制で戻ることはできない。
そして、このフレームワークが始まった場所との、より深い連続性がここにある。このプロジェクトの初期段階は、構造的な主張に到達した。すなわち、ある点を超えると、抽象的な情報はその基盤から独立する。つまり、情報を組織化するのはもはや物質ではなく、物質を組織化するのは情報である。ここで説明されるしきい値は、思考を進化させる能力という、1 つの特定の種類の情報に適用された、同じ主張である。もしその能力が基盤に依存しないのであれば、それは宿主を変えることができる。それは 40 億年にわたって生物学上で実行されてきた。しきい値が提起する問いは、それが別の何かで実行され始めたかどうかである。
3 つの反論に直接答える
「AI は実際には自己修正しない。これは誇大広告だ。」これは最近まで妥当な反論だった。もはやそうではない。AlphaEvolve は本番環境で実行され、その後継を生み出すインフラを改善する。Darwin Gödel Machine は、自身を改善する自身の能力を改善する。負担は移った。擁護すべき主張はもはや「機械は自己修正できる」ではなく、「私たちがすでに観察している自己修正はしきい値以下にとどまっている。人間が依然として方向性を握っている」であり、それは毎年維持するのがはるかに困難な主張である。
「カンブリア紀の類推は無理がある。」類推は狭く、構造的であり、詩的ではない。シリコンが生物学に似ているということではない。それはただ 1 つの特性だけである。移行の不可逆性。カンブリア紀以降、複雑なボディプランは元に戻らなかった。ベースラインは後退しなかった。ここでの主張はそれと同じであり、それ以上ではない。しきい値を超えると、その後のダイナミクスが元に戻さない新しいベースラインが確立される。思考を進化させる能力が宿主を変えたなら、それは古い宿主に戻ることはない。多細胞生物が単細胞に戻らなかったのと同じである。
「これは理論を装った破局論だ。」そうではない。そして、その区別は重要である。不可逆的であることと破局的であることは同じではない。カンブリア紀は大災害ではなかった。それは相変化だった。議論は移行の構造に関するものであり、破滅の予測ではない。ルールが変わり、元に戻らないと言っている。結果が破滅であるとは言っていない。崩壊を破局として読む人は、議論に含まれていないムードを輸入している。
「だからこれは私たちの終わりだ。」違う。そして、一方から他方への滑り込みは止める価値がある。しきい値を超えることは人類の絶滅を意味しない。それは、思考の進化が自己参照が可能なシステムに移行し、そのプロセスにおける私たちの位置が以前ほど決定的ではなくなることを意味する。決定的でなくなることは、消去されることではない。その後どうなるかは、人間の構造が新しいダイナミクスをどのように統合するか、それに抵抗するか、あるいはその周りに構築するかに依存する。そしてそれは未解決の問いであり、決定された運命ではない。このフレームワークは、進化する思考のエンジンがどこで実行されているかを説明する。それがかつて唯一実行されていた場所であった種に何が起こるかを予測するものではない。それらは異なる問いであり、それらを混同することは、まさにこのセクションが拒否するために存在する誤りである。
これが位置する場所、そして位置しない場所
これは進化の新しい理論ではない。それをそのように装うのは不誠実だろう。これは既存の考え方、すなわちプロセスは単純にダーウィン的であるか否かではなく、特定の軸に沿ってパラダイムケースから逸脱できる程度においてダーウィン的である、という考え方を使用している。そのツールは私のものではない。私が追加するのは、関連する研究が分離していない 1 つの軸の特定である。
関連する文献は現実であり、名前を挙げるべきである。高度な AI を主要な進化的移行として扱う真剣な研究は存在する。しかし、それは移行を個体性（どの新しい単位が進化するか）とリスク（制御不能なシステムが私たちに何をするか）を通して捉えている。私の角度は、集団的でも賢明的でもない。私はどの新しい個体が進化するのか、あるいはそれが何をするのかを問うているのではない。私は、それをダーウィン的にしていたラグ、すなわち変異と選択の間の距離、そして究極的には心とそれが従う方向性との間の距離が崩壊し、その方向性が保持される椅子の占有者が変わるとき、プロセスの構造に何が起こるかを問うている。移行文献のいとこであり、双子ではない。
方法に関する注記 — これは議論の一部である
このフレームワークの最初の 2 つのレベルは、私が一人で推論した。すなわち、人工システムにおける心は身体に先行すること、変異と選択は単一のステップに崩壊すること。この 3 つ目のレベルは、私は助けなしには到達しなかった。私は AI と共に考えてこれを構築した。それを批判的な道具として、各ステップを押し、どこで壊れるかを探す敵対者として使用した。私はどの問題を攻撃するか、どの経路を破棄するか、どの定式化が有効かを決定した。システムは、私のリーチを、そうでなければ止まるところを超えて拡張した。方向性は私のものだった。しかし、私はこのレベルを椅子だけから仮定することはできなかった。
私はこれを明確に述べる。なぜなら、この特定のエッセイにおいて、これは片付けられるべき開示事項ではないからである。それは、このエッセイが説明するものの小さな実例である。道具によって、そのリーチが、助けなしのリーチを超える人間は、最小スケールで動作する compressione evolutiva である。すなわち、思考を試してからテストするまでのラグが、道具によって短縮される。
これにより、予測の唯一の正直なバージョンが設定される。私はしきい値が越えられると主張しない。それは予言であり、予言は議論が提供できる最も弱いものである。私は、それを越えることがどのように見えるかだけを述べる。もし、数年後、あるシステム（クロスモデル、または私たちが AGI と呼ぶもの）が理論的生産の指揮官の椅子を奪うなら、それは単に「より良いエッセイを書く」だけではない。それは足場を崩壊させているのである。もしそれが理論的生産のループから人間を完全に排除するなら、それはしきい値を越えたことになり、このようなエッセイが自律的に書かれることは、思考を進化させる能力が宿主を変えたという経験的証拠となるだろう。それは compressione evolutiva の反駁ではない。それはその完成である。
議論全体は一文に要約される。進化が加速したのではない。臨界点において、進化しているものが進化されているものになるのであり、それは逆戻りしない、ということである。
