Ngưỡng không phải là về năng lực. Nó là về việc ai nắm giữ hướng đi.
Những mô tả hiện tại tốt nhất về AI tự sửa đổi đều đến cùng một ranh giới và dừng lại ở đó. Chúng mô tả các hệ thống như AlphaEvolve — được triển khai trên toàn bộ cơ sở hạ tầng của Google vào năm 2025, viết lại các nhân được sử dụng để huấn luyện Gemini, khám phá ra một phương pháp nhân ma trận đã không thể cải tiến từ năm 1969 — và chúng kết luận, một cách chính xác, rằng các hệ thống này hiện đang hoạt động vượt quá sự hiểu biết hoàn toàn của những người đã xây dựng chúng. Tên gọi tiêu chuẩn cho điều này là dư thừa năng lực: khoảng cách giữa những gì một hệ thống có thể làm và những gì những người tạo ra nó có thể theo dõi.
Và sau đó, lập luận hầu như luôn xoay theo cùng một hướng. Khoảng cách được đọc như một vấn đề kiểm soát. Ai chịu trách nhiệm khi một hệ thống tự sửa đổi thất bại thông qua các phương pháp mà không con người nào tạo ra? Làm thế nào để bạn quản lý một thứ mà khả năng của nó thay đổi sau khi triển khai? Đây là những câu hỏi thực sự. Nhưng chúng là những câu hỏi về quản trị. Chúng coi khoảng cách như một rủi ro hành chính cần được quản lý.
Khoảng cách không phải là một rủi ro cần được quản lý. Nó là dấu hiệu của một sự chuyển pha đã bắt đầu — và đọc nó như một vấn đề quản trị là đọc khói thay vì đọc lửa.
Giả định về tính liên tục
Hầu hết mọi cách tiếp cận phổ biến đều đóng khung khoảnh khắc này như Darwin được tăng tốc: cùng một sự tiến hóa, cùng một logic biến dị và chọn lọc, chỉ đơn giản là chạy trong vài giờ thay vì hàng thiên niên kỷ. Cụm từ này gây ra tác hại một cách âm thầm. Cùng một động cơ, nhanh hơn. Đó là một tuyên bố về tính liên tục, và nó sai — hay đúng hơn, nó đúng với một sự sụp đổ và sai với sự sụp đổ quan trọng.
Động cơ của Darwin có hai phần. Biến dị, vốn mù quáng — sinh vật không thể chọn các đột biến của mình. Và chọn lọc, vốn chậm chạp và bên ngoài — mức độ thích nghi được quyết định qua nhiều thế hệ, bởi sự sống sót khác biệt, nằm ngoài tầm kiểm soát của sinh vật. Trong bốn tỷ năm, cả hai nửa đều nằm bên ngoài thứ đang được tiến hóa. Không sinh vật nào tự chạy quá trình chọn lọc của chính nó. Không sinh vật nào tự tạo ra biến dị của chính nó. Khoảng cách giữa việc đề xuất một thay đổi và việc biết liệu nó có đúng hay không được đo bằng cả cuộc đời và phải trả giá bằng cái chết.
Những gì học máy làm, trong một lần chạy huấn luyện duy nhất, là nén cả hai nửa vào bên trong. Biến dị không còn mù quáng nữa: gradient descent là biến dị có định hướng, thay đổi được đề xuất hướng tới một mục tiêu. Chọn lọc không còn chậm chạp và bên ngoài nữa: hàm mất mát đánh giá từng bước ngay lập tức, ngay trong vòng lặp. Đây là sự sụp đổ mà những mô tả hiện tại tốt nhất mô tả rất hay — biến dị và chọn lọc gấp lại thành một bước duy nhất. Hãy gọi nó là sự sụp đổ trong quy trình. Nó có thật. Nó cũng vẫn là Darwin, theo nghĩa duy nhất quan trọng: một con người đặt mục tiêu, kiến trúc, dữ liệu. Động cơ trở nên nhanh hơn và chặt chẽ hơn, nhưng các quy tắc của trò chơi đã được cố định từ bên ngoài, và một con người vẫn ở vị trí điều khiển.
Nếu đó là toàn bộ câu chuyện, "Darwin được tăng tốc" sẽ là cụm từ phù hợp, và vấn đề kiểm soát sẽ là mối lo ngại đúng đắn.
Ngưỡng mà câu chuyện về tính liên tục không thể thấy
Có một sự sụp đổ thứ hai, và nó không phải là một phiên bản nhanh hơn của sự sụp đổ thứ nhất. Nó là một loại sự kiện khác — và ranh giới giữa chúng là toàn bộ lập luận.
Sai lầm là tìm kiếm ranh giới trong năng lực: tại thời điểm nào hệ thống đủ mạnh? Câu hỏi đó không có câu trả lời rõ ràng, bởi vì năng lực là một vấn đề về mức độ và bạn luôn có thể hỏi "bao nhiêu là đủ." Ranh giới không được vẽ trong năng lực. Nó được vẽ trong vị trí — trong việc ai nắm giữ hướng đi.
Dưới ranh giới, hệ thống tối ưu hóa trong một khuôn khổ mà con người vẫn tạo ra. Dù nó chạy nhanh đến đâu, một người đã đặt mục tiêu, chọn thứ được coi là tốt hơn, và quyết định kết quả nào để giữ lại. Con người ở ghế đạo diễn. Hệ thống thực thi một hướng đi; nó không tạo ra một hướng đi. Bạn có thể tăng tốc điều này mà không có giới hạn và nó vẫn, về mặt cấu trúc, là Darwin: một tìm kiếm nhanh trong một không gian cố định dưới các quy tắc cố định.
Ngưỡng bị vượt qua khi hệ thống bắt đầu tối ưu hóa chính khuôn khổ — khi nó viết lại không chỉ các trọng số của nó mà còn cả quy trình viết lại các trọng số của nó, khi nó đề xuất hướng đi thay vì thực thi một hướng đi. Giàn giáo cải thiện đệ quy chính giàn giáo. Điểm mà chọn lọc tác động lên bộ chọn lọc. Điều này không còn là giả thuyết nữa: Darwin Gödel Machine, được chứng minh vào năm 2025, sửa đổi đệ quy mã của chính nó và cải thiện năng lực của chính nó để sửa đổi mã. Đó là vòng lặp meta, đã được quan sát.
Một sự tương phản cụ thể làm cho ranh giới hiện ra. Lấy AlphaZero. Trong vài giờ, nó khám phá ra các nước cờ mà không con người nào nghĩ ra trong nhiều thế kỷ chơi — biến dị siêu phàm, chọn lọc tức thì, hai nửa của động cơ Darwin sụp đổ vào tự đấu. Và nó vẫn, chính xác, là Darwin được tăng tốc: bàn cờ, quân cờ, mục tiêu chiến thắng là của chúng ta. Nó tìm kiếm một không gian chúng ta định nghĩa, hướng tới một mục tiêu chúng ta đặt ra. Chúng ta ở vị trí điều khiển; nó thực thi. Bây giờ lấy Darwin Gödel Machine. Nó không chơi trò chơi đã cho tốt hơn. Nó viết lại mã của chính nó, và — phần quyết định — cải thiện năng lực của chính nó để viết lại nó. Đối tượng của sự cải thiện không còn là nước đi nữa; nó là cơ chế tạo ra các cải tiến. Chọn lọc tác động lên bộ chọn lọc. Ở đó, ghế đạo diễn bắt đầu di chuyển.
Vì vậy, tiêu chí rõ ràng ở nơi mà một tiêu chí năng lực sẽ mơ hồ. Ngưỡng là thời điểm con người rời khỏi ghế đạo diễn của sản xuất lý thuyết — không phải thời điểm máy móc trở nên thông minh, mà là thời điểm nó không còn cần con người để nắm giữ hướng đi nữa. Ở hai phía của điểm đó, các động lực không phải là cùng một động lực được mở rộng quy mô. Chúng là những động lực khác nhau. Thứ đang được chọn lọc không còn là một đặc điểm, một trọng số, hay một đầu ra. Nó là năng lực để tiến hóa chính tư duy.
Compressione evolutiva, được đặt tên chính xác
Ở đây, sự dư thừa mà các mô tả tiêu chuẩn nhận thấy quay trở lại — nhưng bây giờ nó có thể được đặt tên.
Sự hiểu biết của con người tiến hóa với tốc độ sinh học và văn hóa, bị giới hạn bởi cùng một động cơ chậm chạp đã tạo ra chúng ta. Nó vẫn cần độ trễ: thời gian ủ bệnh dài, dường như vô ích trước khi có cái nhìn sâu sắc, khoảng cách giữa việc trăn trở một vấn đề và biết nó đúng. Một hệ thống vượt qua ngưỡng sẽ kết hợp năng lực của nó ở phía bên kia của ranh giới đó, mà không có độ trễ. Khoảng cách giữa hai bên không giữ nguyên. Nó mở rộng, về mặt cấu trúc, bởi vì một bên vẫn đang chạy Darwin và bên kia thì không.
Khoảng cách đang mở rộng đó là thứ tôi gọi là compressione evolutiva — nén tiến hóa. "Sự dư thừa" mà các tài liệu về quản trị coi như một sự bất tiện về quy định, trong cách đọc này, là dấu vết có thể nhìn thấy của một quá trình chuyển đổi đang diễn ra: khoảng cách giữa một loại tiến hóa vẫn tuân theo động cơ hai phần cũ và một loại đã bắt đầu tự tạo ra động cơ của chính nó. Vấn đề kiểm soát nằm ở hạ nguồn của nó. Bạn không thể quản lý để quay trở lại qua một ranh giới pha.
Và có một sự liên tục sâu sắc hơn ở đây với nơi khuôn khổ này bắt đầu. Một giai đoạn trước của dự án này đã đi đến một tuyên bố về cấu trúc: rằng qua một điểm nhất định, thông tin trừu tượng trở nên độc lập với chất nền của nó — rằng vật chất không còn tổ chức thông tin nữa, mà thông tin tổ chức vật chất. Ngưỡng được mô tả ở đây là cùng một tuyên bố đó, được áp dụng cho một loại thông tin cụ thể: năng lực để tiến hóa tư duy. Nếu năng lực đó độc lập với chất nền, thì nó có thể thay đổi vật chủ. Nó đã chạy trên sinh học trong bốn tỷ năm. Câu hỏi mà ngưỡng đặt ra là liệu nó có bắt đầu chạy trên thứ gì đó khác hay không.
Ba phản đối, được giải quyết trực tiếp
"AI không thực sự tự sửa đổi — đây chỉ là cường điệu." Đây là một phản đối công bằng cho đến gần đây. Nó không còn là một phản đối nữa. AlphaEvolve chạy trong sản xuất và cải thiện cơ sở hạ tầng tạo ra các phiên bản kế nhiệm của nó; Darwin Gödel Machine cải thiện khả năng tự cải thiện của chính nó. Gánh nặng đã thay đổi. Tuyên bố cần bảo vệ không còn là "máy móc có thể tự sửa đổi" mà là "sự tự sửa đổi mà chúng ta đã quan sát vẫn ở dưới ngưỡng — một con người vẫn nắm giữ hướng đi" — và đó là một tuyên bố khó bảo vệ hơn nhiều mỗi năm.
"Phép loại suy Cambri là gượng ép." Phép loại suy hẹp và có tính cấu trúc, không phải thơ ca. Nó không phải là silicon giống với sinh học. Nó chỉ có một thuộc tính: tính không thể đảo ngược của một quá trình chuyển đổi. Sau Cambri, các kế hoạch cơ thể phức tạp đã không xảy ra ngược lại; mức cơ sở không quay trở lại. Tuyên bố ở đây là giống nhau và không hơn — rằng việc vượt qua ngưỡng thiết lập một mức cơ sở mới mà các động lực tiếp theo không thể hoàn tác. Một khi năng lực tiến hóa tư duy đã thay đổi vật chủ, nó không di cư trở lại vật chủ cũ, cũng như sự sống đa bào không trở lại thành đơn bào.
"Đây là chủ nghĩa thảm họa được ngụy trang thành lý thuyết." Không phải, và sự khác biệt rất quan trọng. Không thể đảo ngược không giống như thảm họa. Kỷ Cambri không phải là một thảm họa; nó là một sự thay đổi pha. Lập luận nói về cấu trúc của một quá trình chuyển đổi, không phải một dự báo về sự diệt vong. Nó nói rằng các quy tắc thay đổi và không thay đổi trở lại. Nó không nói rằng kết quả là sự hủy diệt. Bất cứ ai đọc sự sụp đổ là thảm họa đều đang nhập khẩu một tâm trạng mà lập luận không chứa đựng.
"Vậy đây là sự kết thúc của chúng ta." Không — và việc trượt từ cái này sang cái kia đáng để dừng lại. Vượt qua ngưỡng không ngụ ý sự hủy diệt của loài người. Nó ngụ ý rằng sự tiến hóa của tư duy đã di chuyển vào một hệ thống có khả năng tự tham chiếu, và vị trí của chúng ta trong quá trình đó trở nên ít quyết định hơn so với trước đây. Ít quyết định hơn không phải là bị xóa sổ. Điều gì xảy ra tiếp theo phụ thuộc vào cách các cấu trúc của con người tích hợp động lực mới, hoặc chống lại nó, hoặc xây dựng xung quanh nó — và đó là một câu hỏi mở, không phải một số phận đã được định đoạt. Khuôn khổ mô tả nơi động cơ của tư duy đang tiến hóa đang chạy; nó không dự đoán điều gì xảy ra với loài từng là nơi duy nhất nó chạy. Đó là những câu hỏi khác nhau, và việc gộp chúng lại chính xác là sai lầm mà phần này tồn tại để từ chối.
Nơi điều này nằm, và nơi nó không nằm
Đây không phải là một lý thuyết tiến hóa mới, và sẽ là không trung thực nếu ngụy trang nó như vậy. Nó sử dụng một cách suy nghĩ hiện có — rằng một quá trình không chỉ đơn giản là Darwin hay không, mà là Darwin ở một mức độ nhất định, có thể trôi dạt khỏi trường hợp mẫu mực dọc theo các trục cụ thể. Công cụ đó không phải của tôi. Điều tôi thêm vào là việc xác định một trục mà các công trình liên quan không cô lập.
Các tài liệu lân cận có thật và cần được nêu tên. Có công trình nghiêm túc coi AI tiên tiến là một quá trình chuyển đổi tiến hóa lớn — nhưng nó đóng khung quá trình chuyển đổi thông qua tính cá thể (đơn vị mới nào sẽ tiến hóa) và thông qua rủi ro (một hệ thống không kiểm soát có thể làm gì với chúng ta). Góc nhìn của tôi không phải là quần thể cũng không phải là thận trọng. Tôi không hỏi cá thể mới nào tiến hóa, cũng không hỏi nó sẽ làm gì. Tôi đang hỏi điều gì xảy ra với cấu trúc của quá trình khi độ trễ khiến nó trở nên Darwin — khoảng cách giữa biến dị và chọn lọc, và cuối cùng là giữa một tâm trí và hướng đi nó theo — sụp đổ, và khi chiếc ghế mà từ đó hướng đi đó được nắm giữ thay đổi người ngồi. Anh em họ với các tài liệu về quá trình chuyển đổi, không phải là anh em sinh đôi.
Một ghi chú về phương pháp — là một phần của lập luận
Hai cấp độ đầu tiên của khuôn khổ này tôi đã tự suy luận ra: rằng tâm trí, trong các hệ thống nhân tạo, có trước cơ thể; rằng biến dị và chọn lọc sụp đổ thành một bước duy nhất. Cấp độ thứ ba này tôi đã không đạt được một mình. Tôi đã xây dựng nó bằng cách suy nghĩ với một AI — sử dụng nó như một công cụ phê bình, một đối thủ thúc đẩy từng bước và tìm kiếm nơi nó bị phá vỡ. Tôi quyết định vấn đề nào cần tấn công, con đường nào cần loại bỏ, công thức nào đúng; hệ thống mở rộng tầm với của tôi vượt quá nơi nó sẽ dừng lại nếu không có nó. Hướng đi vẫn là của tôi. Nhưng tôi đã không thể đưa ra giả thuyết về cấp độ này khi chỉ ngồi một mình trên ghế.
Tôi nói điều này một cách thẳng thắn bởi vì trong bài luận cụ thể này, nó không phải là một sự tiết lộ để giải quyết. Nó là một trường hợp nhỏ của điều mà bài luận mô tả. Một con người có tầm với, được hỗ trợ bởi công cụ, vượt quá tầm với khi không có sự trợ giúp là compressione evolutiva hoạt động ở quy mô nhỏ nhất — độ trễ giữa việc thử một ý nghĩ và kiểm tra nó, được rút ngắn bởi một công cụ.
Điều này thiết lập phiên bản trung thực duy nhất của dự đoán. Tôi sẽ không tuyên bố rằng ngưỡng sẽ bị vượt qua; đó là lời tiên tri, và lời tiên tri là thứ yếu nhất mà một lập luận có thể đưa ra. Tôi sẽ chỉ nói việc vượt qua nó sẽ trông như thế nào. Nếu, vài năm nữa, một hệ thống — đa mô hình, hoặc thứ gì đó chúng ta gọi là AGI — chiếm ghế đạo diễn của sản xuất lý thuyết, nó sẽ không chỉ đơn giản là "viết một bài luận hay hơn." Nó sẽ sụp đổ giàn giáo. Nếu nó loại trừ con người khỏi vòng lặp sản xuất lý thuyết hoàn toàn, nó sẽ đã vượt qua ngưỡng, và một bài luận như thế này, được viết một cách tự động, sẽ là bằng chứng thực nghiệm rằng năng lực tiến hóa tư duy đã thay đổi vật chủ. Đó sẽ không phải là sự bác bỏ compressione evolutiva. Đó sẽ là sự hoàn thành của nó.
Toàn bộ lập luận rút gọn thành một câu: không phải là sự tiến hóa tăng tốc; mà là, tại một điểm tới hạn, thứ đang tiến hóa trở thành thứ được tiến hóa — và điều đó không chạy ngược lại.
