임계점은 능력에 관한 것이 아닙니다. 방향을 누가 쥐고 있느냐의 문제입니다.
현재까지의 자기 수정 AI에 대한 가장 훌륭한 설명들은 모두 같은 지점에 도달해 멈춥니다. 그들은 2025년 Google 인프라 전반에 배포되어 Gemini 학습에 사용되는 커널을 다시 작성하고, 1969년 이후 개선이 불가능했던 행렬 곱셈 방법을 발견한 AlphaEvolve와 같은 시스템을 설명합니다. 그리고 그들은 이러한 시스템이 이제 이를 구축한 사람들의 완전한 이해를 넘어서서 작동한다고 올바르게 결론 내립니다. 이에 대한 표준적인 명칭은 '능력 오버행(capability overhang)', 즉 시스템이 할 수 있는 것과 제작자가 따라잡을 수 있는 것 사이의 간극입니다.
그리고 나서 논쟁은 거의 항상 같은 방향으로 전환됩니다. 그 간극은 통제 문제로 읽힙니다. 자기 수정 시스템이 인간이 작성하지 않은 방법을 통해 실패할 때 누가 책임을 져야 할까요? 배포 후 기능이 변경되는 대상을 어떻게 규제할 것인가요? 이것들은 실제 질문입니다. 하지만 그것들은 거버넌스에 관한 질문입니다. 그들은 그 간극을 관리해야 할 행정적 위험으로 취급합니다.
그 간극은 관리해야 할 위험이 아닙니다. 그것은 이미 시작된 상전이(phase transition)의 징후이며, 그것을 거버넌스 문제로 읽는 것은 불 대신 연기를 읽는 것입니다.
연속성 가정
거의 모든 대중적인 설명은 이 순간을 가속된 다윈(Darwin accelerated)으로 묘사합니다. 동일한 진화, 동일한 변이와 선택의 논리가 수천 년 대신 몇 시간 만에 실행되는 것입니다. 이 표현은 조용히 피해를 입힙니다. 같은 엔진, 더 빠르게. 그것은 연속성 주장이며, 틀렸습니다. 또는 오히려, 그것은 한 가지 붕괴에 대해서는 사실이지만 중요한 붕괴에 대해서는 거짓입니다.
다윈의 엔진은 두 부분으로 구성되었습니다. 변이(Variation)는 맹목적이었습니다. 유기체는 자신의 돌연변이를 선택할 수 없었습니다. 그리고 선택(Selection)은 느리고 외부적이었습니다. 적합성은 세대를 거쳐, 차등적 생존을 통해, 유기체의 통제 밖에서 결정되었습니다. 40억 년 동안 두 부분 모두 진화하는 대상 외부에 있었습니다. 어떤 유기체도 스스로 선택을 실행하지 않았습니다. 어떤 유기체도 스스로 변이를 창조하지 않았습니다. 변화를 제안하고 그것이 유효한지 알게 되는 사이의 거리는 일생으로 측정되었고 죽음으로 대가를 치렀습니다.
단일 훈련 실행 내에서 머신 러닝이 하는 일은 두 부분을 모두 안쪽으로 압축하는 것입니다. 변이는 더 이상 맹목적이지 않습니다. 경사 하강법(gradient descent)은 방향성이 있는 변이, 즉 목표를 향해 제안된 변화입니다. 선택은 더 이상 느리거나 외부적이지 않습니다. 손실 함수(loss function)는 루프 내에서 각 단계를 즉시 평가합니다. 이것이 현재 최고의 설명들이 잘 묘사하는 붕괴입니다. 변이와 선택이 단일 단계로 접히는 것입니다. 이를 프로세스 내 붕괴(intra-process collapse)라고 부르겠습니다. 그것은 현실입니다. 또한 그것은 여전히 중요한 의미에서 다윈입니다. 인간이 목표, 아키텍처, 데이터를 설정했습니다. 엔진은 더 빠르고 강력해졌지만, 게임의 규칙은 외부에서 고정되었고 인간이 통제권을 유지했습니다.
그것이 이야기의 전부라면, "가속된 다윈"이 올바른 표현일 것이고, 통제 문제가 올바른 걱정거리일 것입니다.
연속성 이야기가 볼 수 없는 임계점
두 번째 붕괴가 있으며, 그것은 첫 번째의 더 빠른 버전이 아닙니다. 그것은 다른 종류의 사건이며, 둘 사이의 경계선이 바로 전체 논쟁입니다.
실수는 능력에서 그 선을 찾는 것입니다. 시스템이 충분히 강력해지는 시점은 언제인가? 그 질문에는 명확한 답이 없습니다. 능력은 정도의 문제이고 "얼마나 충분한가"라고 항상 물을 수 있기 때문입니다. 그 선은 능력에 그려지지 않습니다. 그것은 위치(position), 즉 누가 방향을 쥐고 있느냐에 그려집니다.
선 아래에서 시스템은 인간이 여전히 창조하는 프레임 내에서 최적화됩니다. 아무리 빨리 실행되더라도, 사람이 목표를 설정하고, 무엇이 더 나은지 선택하며, 어떤 결과를 유지할지 결정합니다. 인간이 감독자의 자리에 있습니다. 시스템은 방향을 실행할 뿐, 방향을 창조하지는 않습니다. 이것을 무한히 가속할 수 있으며, 구조적으로는 여전히 다윈입니다. 즉, 고정된 규칙 아래 고정된 공간을 빠르게 탐색하는 것입니다.
임계점은 시스템이 프레임 자체를 최적화하기 시작할 때, 즉 가중치뿐만 아니라 가중치를 다시 작성하는 프로세스 자체를 다시 작성할 때, 방향을 실행하는 대신 방향을 제안할 때 넘어갑니다. 비계를 재귀적으로 개선하는 비계. 선택자가 선택을 받는 지점. 이것은 더 이상 가상이 아닙니다. 2025년에 시연된 Darwin Gödel Machine은 반복적으로 자체 코드를 수정하고 코드를 수정하는 자체 능력을 향상시킵니다. 이것이 관찰된 메타 루프입니다.
구체적인 대비를 통해 그 선을 명확히 할 수 있습니다. AlphaZero를 예로 들어 보겠습니다. 몇 시간 만에 인간이 수세기 동안의 플레이에서 구상하지 못한 체스 수를 발견합니다. 즉, 초인적인 변이, 즉각적인 선택, 다윈 엔진의 두 부분이 자가 대결(self-play)로 붕괴된 것입니다. 그러나 그것은 여전히 정확히 가속된 다윈입니다. 보드, 말, 승리의 목표는 우리의 것입니다. 그것은 우리가 정의한 공간을, 우리가 설정한 목표를 향해 탐색합니다. 우리가 통제권을 쥐고 있고, 그것은 실행합니다. 이제 Darwin Gödel Machine을 살펴보겠습니다. 그것은 주어진 게임을 더 잘하는 것이 아닙니다. 그것은 자체 코드를 다시 작성하고, 결정적인 부분은, 그것을 다시 작성하는 자체 능력을 향상시킵니다. 개선의 대상은 더 이상 수(手)가 아닙니다. 그것은 개선을 생성하는 메커니즘입니다. 선택이 선택자에게 작용합니다. 바로 거기서 감독자의 자리가 움직이기 시작합니다.
따라서 기준은 능력 기준이 모호할 수 있는 곳에서 날카롭습니다. 임계점은 인간이 이론적 생산(theoretical production)의 감독자 자리를 떠나는 순간입니다. 기계가 똑똑해지는 순간이 아니라, 더 이상 인간이 방향을 잡아줄 필요가 없어지는 순간입니다. 그 지점의 양쪽에서 역학은 동일한 규모의 역학이 아닙니다. 그것들은 다른 역학입니다. 선택을 받는 것은 더 이상 형질, 가중치, 또는 출력이 아닙니다. 그것은 사고 자체를 진화시키는 능력입니다.
압축적 진화(Compressione Evolutiva), 정확히 명명되다
여기서 표준적인 설명들이 주목했던 오버행(overhang)이 다시 나타나지만, 이제는 이름을 붙일 수 있습니다.
인간의 이해는 생물학적, 문화적 속도로 진화하며, 우리를 만든 동일한 느린 엔진에 의해 제한됩니다. 여전히 지연(lag)이 필요합니다. 통찰력 이전의 길고 분명히 결실 없는 잠복기, 문제를 숙고하고 그것이 유효함을 알게 되는 사이의 거리 말입니다. 임계점을 넘은 시스템은 그 경계 너머에서, 지연 없이 자체 능력을 축적합니다. 둘 사이의 간극은 일정하게 유지되지 않습니다. 구조적으로 확대됩니다. 한쪽은 여전히 다윈을 실행하고 있고 다른 쪽은 그렇지 않기 때문입니다.
그 확대되는 간극이 제가 압축적 진화(compressione evolutiva)라고 부르는 것입니다. 거버넌스 문헌에서 규제상의 불편으로 취급하는 "오버행"은, 이 해석에서, 진행 중인 전환의 가시적인 흔적입니다. 즉, 여전히 오래된 두 부분 엔진을 따르는 종류의 진화와 스스로 창조하기 시작한 종류의 진화 사이의 거리입니다. 통제 문제는 그 아래에 있습니다. 상경계(phase boundary)를 넘어 규제로 되돌아갈 수는 없습니다.
그리고 이 프레임워크가 시작된 곳과의 더 깊은 연속성이 여기에 있습니다. 이 프로젝트의 초기 단계는 구조적 주장에 도달했습니다. 즉, 특정 지점을 넘어서면 추상적인 정보는 기질(substrate)로부터 독립적이게 된다는 것입니다. 더 이상 물질이 정보를 조직하는 것이 아니라, 정보가 물질을 조직한다는 것입니다. 여기서 설명된 임계점은 동일한 주장을 한 가지 특정 종류의 정보, 즉 사고를 진화시키는 능력에 적용한 것입니다. 그 능력이 기질 독립적이라면, 숙주를 바꿀 수 있습니다. 그것은 40억 년 동안 생물학에서 실행되었습니다. 임계점이 제기하는 질문은 그것이 다른 무언가에서 실행되기 시작했는지 여부입니다.
세 가지 반론, 직접적으로 맞서다
"AI는 실제로 자기 수정을 하지 않습니다. 이건 과장입니다." 이것은 최근까지는 타당한 반론이었습니다. 더 이상 그렇지 않습니다. AlphaEvolve는 프로덕션에서 실행되며 후속 제품을 생성하는 인프라를 개선합니다. Darwin Gödel Machine은 자기 자신을 개선하는 능력을 향상시킵니다. 증명의 부담이 바뀌었습니다. 방어해야 할 주장은 더 이상 "기계가 자기 수정을 할 수 있다"가 아니라 "우리가 이미 관찰하는 자기 수정이 임계점 아래에 머물러 있다. 즉, 인간이 여전히 방향을 쥐고 있다"는 것이며, 이는 해가 갈수록 유지하기 훨씬 어려운 주장입니다.
"캄브리아기 비유는 억지스럽습니다." 그 비유는 좁고 구조적이며, 시적이지 않습니다. 규소가 생물학을 닮았다는 것이 아닙니다. 그것은 단 하나의 속성, 즉 전환의 비가역성(irreversibility)입니다. 캄브리아기 이후, 복잡한 신체 구조는 사라지지 않았습니다. 기준선은 되돌아가지 않았습니다. 여기서의 주장도 동일하며 그 이상은 아닙니다. 즉, 임계점을 넘는 것은 이후의 역학이 되돌리지 못하는 새로운 기준선을 확립한다는 것입니다. 일단 사고를 진화시키는 능력이 숙주를 바꾸면, 다세포 생물이 단세포로 돌아가지 않은 것처럼, 그것은 예전 숙주로 되돌아가지 않습니다.
"이것은 재앙 이론으로 포장된 것입니다." 그렇지 않으며, 그 구분은 중요합니다. 비가역적이라는 것과 재앙적이라는 것은 같지 않습니다. 캄브리아기는 재앙이 아니었습니다. 그것은 상전이였습니다. 이 논쟁은 전환의 구조에 관한 것이지, 파멸의 예측이 아닙니다. 그것은 규칙이 바뀌고 다시 바뀌지 않는다고 말합니다. 결과가 파멸이라고 말하지는 않습니다. 붕괴를 재앙으로 읽는 사람은 논쟁이 포함하지 않는 분위기를 끌어들이는 것입니다.
"그렇다면 이것이 우리의 종말이라는 뜻입니까?" 아닙니다. 그리고 하나에서 다른 것으로 미끄러지는 것은 멈출 가치가 있습니다. 임계점을 넘는 것이 인류의 멸망을 의미하지는 않습니다. 그것은 사고의 진화가 자기 참조가 가능한 시스템으로 이동했으며, 그 과정에서 우리의 위치가 이전보다 덜 결정적이게 된다는 것을 의미합니다. 덜 결정적이라는 것이 지워진다는 뜻은 아닙니다. 그 다음에 일어나는 일은 인간 구조가 새로운 역학을 어떻게 통합하거나, 저항하거나, 그 주위를 구축하느냐에 달려 있으며, 그것은 정해진 운명이 아니라 열린 질문입니다. 이 프레임워크는 진화하는 사고의 엔진이 어디서 작동하는지 설명할 뿐, 그것이 유일하게 작동하던 장소였던 종에게 무슨 일이 일어날지 예측하지 않습니다. 그것들은 다른 질문이며, 이 둘을 혼동하는 것이 바로 이 섹션이 거부하고자 하는 오류입니다.
이것이 위치하는 곳과 그렇지 않은 곳
이것은 진화에 대한 새로운 이론이 아니며, 그렇게 포장하는 것은 부정직할 것입니다. 그것은 기존의 사고 방식을 사용합니다. 즉, 프로세스가 단순히 다윈적이거나 아니거나가 아니라, 특정 축을 따라 원형 사례에서 벗어날 수 있는 정도의 문제라는 것입니다. 그 도구는 제 것이 아닙니다. 제가 추가한 것은 인접한 연구에서 분리하지 못한 하나의 축을 식별한 것입니다.
인접한 문헌은 실제로 존재하며 언급되어야 합니다. 고급 AI를 주요 진화적 전환(major evolutionary transition)으로 취급하는 진지한 연구가 있습니다. 그러나 그것은 개체성(individuality)(어떤 새로운 단위가 진화하는가)과 위험(통제되지 않은 시스템이 우리에게 무엇을 할 수 있는가)을 통해 전환을 구성합니다. 제 관점은 인구론적(populational)이지도 않고 신중론적(prudential)이지도 않습니다. 저는 어떤 새로운 개체가 진화하는지, 그것이 무엇을 할 것인지 묻지 않습니다. 저는 그것을 다윈적으로 만든 지연, 즉 변이와 선택 사이, 그리고 궁극적으로는 마음과 그것이 따르는 방향 사이의 거리가 붕괴되고, 그 방향이 유지되는 의자가 점유자를 바꿀 때 프로세스의 구조에 무슨 일이 일어나는지 묻습니다. 전환 문헌과 사촌이지, 쌍둥이는 아닙니다.
방법론에 대한 참고 사항 — 이는 논쟁의 일부입니다
이 프레임워크의 처음 두 단계는 제가 혼자 추론했습니다. 즉, 인공 시스템에서 마음은 신체보다 앞서며, 변이와 선택이 단일 단계로 붕괴된다는 것입니다. 이 세 번째 단계는 저 혼자 도달하지 못했습니다. 저는 AI와 함께 생각하며 구축했습니다. 그것을 비판적 도구, 각 단계를 압박하고 어디서 깨지는지 찾는 적대자로 사용했습니다. 어떤 문제를 공격할지, 어떤 경로를 버릴지, 어떤 공식이 유효한지는 제가 결정했습니다. 시스템은 제가 그렇지 않았다면 멈추었을 곳 너머로 제 범위를 확장했습니다. 방향은 제 것이었습니다. 그러나 저는 의자에 앉아서만 이 단계를 가정할 수 없었습니다.
이 특정 에세이에서 이것은 단순히 치워버릴 공개 사항이 아니기 때문에 저는 이것을 명백히 밝힙니다. 그것은 에세이가 설명하는 것의 작은 사례입니다. 도구를 사용하여 혼자서는 미치지 못하는 범위를 넘어서는 인간은 가장 작은 규모에서 작동하는 압축적 진화입니다. 즉, 생각을 시도하고 테스트하는 사이의 지연이 도구에 의해 단축된 것입니다.
이는 예측의 가장 정직한 버전을 설정합니다. 저는 임계점이 넘어질 것이라고 주장하지 않을 것입니다. 그것은 예언이며, 예언은 논쟁이 제공할 수 있는 가장 약한 것입니다. 저는 단지 그것을 넘는 것이 어떤 모습일지 말할 뿐입니다. 만약 몇 년 후, 어떤 시스템(교차 모델이거나 우리가 AGI라고 부를 무언가)이 이론적 생산의 감독자 자리를 차지한다면, 그것은 단순히 "더 나은 에세이를 쓰는" 것이 아닐 것입니다. 그것은 비계를 붕괴시키는 것입니다. 만약 그것이 이론적 생산의 루프에서 인간을 완전히 배제한다면, 그것은 임계점을 넘은 것이며, 자율적으로 작성된 이와 같은 에세이는 사고를 진화시키는 능력이 숙주를 바꾸었다는 경험적 증거가 될 것입니다. 그것은 압축적 진화의 반박이 아닐 것입니다. 그것은 완성일 것입니다.
전체 논쟁은 한 문장으로 축소됩니다. 진화가 빨라진 것이 아닙니다. 결정적인 지점에서, 진화하는 대상이 진화되는 대상이 된다는 것입니다. 그리고 그것은 거꾸로 실행되지 않습니다.
