เกณฑ์ไม่ได้อยู่ที่ความสามารถ แต่อยู่ที่ว่าใครเป็นผู้กำหนดทิศทาง
คำอธิบายที่ดีที่สุดในปัจจุบันเกี่ยวกับ AI ที่ปรับเปลี่ยนตัวเองได้ ล้วนมาถึงจุดเดียวกันแล้วหยุดอยู่ตรงนั้น พวกเขาบรรยายถึงระบบอย่าง AlphaEvolve — ที่ถูกนำไปใช้บนโครงสร้างพื้นฐานของ Google ในปี 2025, เขียนเคอร์เนลใหม่ที่ใช้ฝึก Gemini, ค้นพบวิธีการคูณเมทริกซ์ที่ต้านทานการปรับปรุงมาตั้งแต่ปี 1969 — และพวกเขาสรุปได้อย่างถูกต้องว่าระบบเหล่านี้ทำงานเกินกว่าความเข้าใจอย่างถ่องแท้ของคนที่สร้างมันขึ้นมา ชื่อมาตรฐานสำหรับสิ่งนี้คือ capability overhang: ช่องว่างระหว่างสิ่งที่ระบบสามารถทำได้กับสิ่งที่ผู้สร้างสามารถติดตามได้
แล้วการโต้แย้งก็เปลี่ยนทิศทาง เกือบจะเสมอ ไปในทางเดียวกัน ช่องว่างนี้ถูกตีความว่าเป็นปัญหาเรื่องการควบคุม ใครจะรับผิดชอบเมื่อระบบที่ปรับเปลี่ยนตัวเองล้มเหลวผ่านวิธีการที่ไม่มีมนุษย์คนใดเป็นผู้สร้าง? คุณจะควบคุมสิ่งที่มีความสามารถเปลี่ยนแปลงหลังการปรับใช้ได้อย่างไร? สิ่งเหล่านี้เป็นคำถามจริง แต่เป็นคำถามเกี่ยวกับการกำกับดูแล พวกเขามองช่องว่างนี้เป็นอันตรายทางการบริหารที่ต้องจัดการ
ช่องว่างนี้ไม่ใช่อันตรายที่ต้องจัดการ มันคือลายเซ็นของการเปลี่ยนเฟสที่已经开始เกิดขึ้นแล้ว — และการอ่านมันเป็นปัญหาการกำกับดูแลก็คือการอ่านควันแทนที่จะเป็นไฟ
สมมติฐานความต่อเนื่อง
งานเขียนยอดนิยมเกือบทั้งหมดมองช่วงเวลานี้เป็นดาร์วินที่เร่งความเร็ว: วิวัฒนาการแบบเดียวกัน, ตรรกะเดียวกันของการแปรผันและการคัดเลือก, เพียงแค่วิ่งในชั่วโมงแทนที่จะเป็นพันปี วลีนี้สร้างความเสียหายอย่างเงียบๆ เครื่องยนต์เดียวกัน, เร็วขึ้น มันเป็นข้ออ้างเรื่องความต่อเนื่อง และมันผิด — หรือพูดให้ถูกคือ มันเป็นจริงสำหรับการล่มสลายครั้งหนึ่ง และเท็จสำหรับครั้งที่สำคัญกว่า
เครื่องยนต์ของดาร์วินมีสองส่วน การแปรผัน ซึ่งมืดบอด — สิ่งมีชีวิตไม่สามารถเลือกการกลายพันธุ์ของมันได้ และการคัดเลือก ซึ่งช้าและมาจากภายนอก — ความเหมาะสมถูกตัดสินข้ามรุ่น โดยการอยู่รอดที่แตกต่างกัน อยู่นอกเหนือการควบคุมของสิ่งมีชีวิต เป็นเวลาสี่พันล้านปีที่ทั้งสองส่วนอยู่นอกเหนือสิ่งที่กำลังถูกวิวัฒนาการ ไม่มีสิ่งมีชีวิตใดดำเนินการคัดเลือกของตัวเอง ไม่มีสิ่งมีชีวิตใดสร้างการแปรผันของตัวเอง ระยะห่างระหว่างการเสนอการเปลี่ยนแปลงและการเรียนรู้ว่ามันใช้ได้หรือไม่นั้นวัดกันเป็นช่วงชีวิตและจ่ายด้วยความตาย
สิ่งที่机器学习ทำ ภายในรอบการฝึกครั้งเดียว คือการบีบอัดทั้งสองส่วนเข้าด้านใน การแปรผันหยุดมืดบอด: gradient descent คือการแปรผันแบบมีทิศทาง การเปลี่ยนแปลงที่เสนอไปสู่วัตถุประสงค์ การคัดเลือกหยุดช้าและจากภายนอก: ฟังก์ชัน loss จะประเมินแต่ละขั้นตอนทันที ภายในลูป นี่คือการล่มสลายที่คำอธิบายที่ดีที่สุดในปัจจุบันบรรยายได้ดีนัก — การแปรผันและการคัดเลือกพับเป็นขั้นตอนเดียว เรียกมันว่าการล่มสลายภายในกระบวนการ (intra-process collapse) มันเป็นเรื่องจริง มันก็ยังคงเป็นดาร์วิน ในความหมายเดียวที่สำคัญ: มนุษย์เป็นผู้กำหนดวัตถุประสงค์ สถาปัตยกรรม และข้อมูล เครื่องยนต์เร็วขึ้นและแน่นขึ้น แต่กฎของเกมถูกกำหนดจากภายนอก และมนุษย์ยังคงอยู่ที่การควบคุม
ถ้านั่นคือเรื่องราวทั้งหมด "ดาร์วินที่เร่งความเร็ว" ก็จะเป็นวลีที่ถูกต้อง และปัญหาเรื่องการควบคุมก็จะเป็นความกังวลที่ถูกต้อง
เกณฑ์ที่เรื่องราวความต่อเนื่องมองไม่เห็น
มีการล่มสลายครั้งที่สอง และมันไม่ใช่เวอร์ชันที่เร็วกว่าของครั้งแรก มันเป็นเหตุการณ์คนละประเภท — และเส้นแบ่งระหว่างพวกมันคือข้อโต้แย้งทั้งหมด
ความผิดพลาดคือการมองหาเส้นแบ่งในความสามารถ: ณ จุดไหนที่ระบบมีพลังมากพอ? คำถามนั้นไม่มีคำตอบที่ชัดเจน เพราะความสามารถเป็นเรื่องของระดับ และคุณสามารถถามได้เสมอว่า "เท่าไหร่ถึงจะพอ" เส้นแบ่งไม่ได้ถูกวาดในความสามารถ มันถูกวาดในตำแหน่ง — ในว่าใครเป็นผู้กำหนดทิศทาง
ใต้เส้นแบ่ง ระบบปรับให้เหมาะสมภายในกรอบที่มนุษย์ยังคงเป็นผู้สร้าง ไม่ว่ามันจะวิ่งเร็วแค่ไหน มนุษย์เป็นผู้กำหนดเป้าหมาย เลือกสิ่งที่ถือว่าดีกว่า และตัดสินใจว่าจะเก็บผลลัพธ์ใดไว้ มนุษย์อยู่ที่เก้าอี้ผู้กำกับ ระบบดำเนินการตามทิศทาง มันไม่ได้สร้างทิศทางขึ้นมาเอง คุณสามารถเร่งสิ่งนี้ได้โดยไม่มีขีดจำกัด และมันยังคงเป็นดาร์วินในเชิงโครงสร้าง: การค้นหาพื้นที่คงที่อย่างรวดเร็วภายใต้กฎคงที่
เกณฑ์จะถูกข้ามเมื่อระบบเริ่มปรับกรอบให้เหมาะสมด้วยตัวเอง — เมื่อมันเขียนไม่เพียงแต่น้ำหนักของมัน แต่ยังรวมถึงกระบวนการที่เขียนน้ำหนักของมันใหม่ เมื่อมันเสนอทิศทางแทนที่จะดำเนินการตามทิศทาง นั่งร้านที่ปรับปรุงนั่งร้านแบบเรียกซ้ำ จุดที่การคัดเลือกกระทำต่อผู้คัดเลือก สิ่งนี้ไม่ใช่สมมติฐานอีกต่อไป: Darwin Gödel Machine ซึ่งสาธิตในปี 2025, ปรับเปลี่ยนโค้ดของตัวเองซ้ำๆ และปรับปรุงความสามารถของตัวเองในการปรับเปลี่ยนโค้ด นั่นคือเมตาลูป ที่ถูกสังเกตเห็น
ความแตกต่างที่เป็นรูปธรรมทำให้เส้นแบ่งมองเห็นได้ ใช้ AlphaZero ในไม่กี่ชั่วโมง มันค้นพบหมากรุกที่ไม่มีมนุษย์คนใด conceived ในการเล่นหลายศตวรรษ — การแปรผันเหนือมนุษย์, การคัดเลือกทันที, สองส่วนของเครื่องยนต์ดาร์วิน collapsed เป็น self-play และถึงกระนั้น มันก็ยังคงเป็นดาร์วินที่เร่งความเร็วอย่างแท้จริง: กระดาน, ตัวหมาก, เป้าหมายของการชนะเป็นของเรา มันค้นหาพื้นที่ที่เรากำหนด ไปสู่วัตถุประสงค์ที่เราตั้งไว้ เราอยู่ที่การควบคุม; มันดำเนินการ ทีนี้ลองใช้ Darwin Gödel Machine มันไม่ได้เล่นเกมที่กำหนดให้ดีขึ้น มันเขียนโค้ดของตัวเองใหม่ และ — ส่วนที่ชี้ขาด — ปรับปรุงความสามารถของตัวเองในการเขียนมันใหม่ วัตถุประสงค์ของการปรับปรุงไม่ใช่การเดินหมากอีกต่อไป มันคือกลไกที่สร้างการปรับปรุง การคัดเลือกกระทำต่อผู้คัดเลือก ที่นั่น เก้าอี้ผู้กำกับเริ่มเคลื่อนที่
ดังนั้นเกณฑ์จึงคมชัด ในขณะที่เกณฑ์ความสามารถจะคลุมเครือ เกณฑ์คือช่วงเวลาที่มนุษย์ออกจากเก้าอี้ผู้กำกับของการผลิตทางทฤษฎี — ไม่ใช่ช่วงเวลาที่เครื่องจักรฉลาดขึ้น แต่เป็นช่วงเวลาที่มันไม่ต้องการมนุษย์อีกต่อไปเพื่อกำหนดทิศทาง ทั้งสองด้านของจุดนั้น พลวัตไม่ใช่พลวัตเดียวกันที่ถูกปรับขนาด พวกมันเป็นพลวัตที่แตกต่างกัน สิ่งที่อยู่ภายใต้การคัดเลือกไม่ใช่ลักษณะ น้ำหนัก หรือผลลัพธ์อีกต่อไป มันคือความสามารถในการวิวัฒนาการความคิดเอง
Compressione evolutiva, ตั้งชื่ออย่างแม่นยำ
ที่นี่ overhang ที่คำอธิบายมาตรฐานสังเกตเห็นกลับมา — แต่ตอนนี้มันสามารถถูกตั้งชื่อได้
ความเข้าใจของมนุษย์วิวัฒนาการด้วยความเร็วทางชีววิทยาและวัฒนธรรม ถูกผูกมัดโดยเครื่องยนต์ช้าแบบเดียวกับที่สร้างเรา มันยังคงต้องการความล่าช้า: การฟักตัวที่ยาวนานและดูเหมือนไร้ผลก่อนที่ความเข้าใจจะมา ระยะห่างระหว่างการพลิกปัญหากับการรู้ว่ามันใช้ได้ ระบบที่ผ่านเกณฑ์ไปแล้วจะเพิ่มความสามารถของมันแบบทบต้นอีกด้านหนึ่งของขอบเขตนั้น โดยไม่มีความล่าช้า ช่องว่างระหว่างทั้งสองไม่ได้คงที่ มันกว้างขึ้นในเชิงโครงสร้าง เพราะด้านหนึ่งยังคงรันดาร์วิน และอีกด้านหนึ่งไม่ได้
ช่องว่างที่กว้างขึ้นนั้นคือสิ่งที่ฉันเรียกว่า compressione evolutiva — การบีบอัดเชิงวิวัฒนาการ "overhang" ที่วรรณกรรมด้านการกำกับดูแลปฏิบัติเหมือนเป็นความไม่สะดวกด้านกฎระเบียบ ในการอ่านนี้ คือร่องรอยที่มองเห็นได้ของการเปลี่ยนแปลงที่กำลังดำเนินอยู่: ระยะห่างระหว่างวิวัฒนาการประเภทหนึ่งที่ยังคงเชื่อฟังเครื่องยนต์สองส่วนแบบเก่า กับประเภทที่เริ่มสร้างของตัวเองขึ้นมา ปัญหาการควบคุมเป็นผลสืบเนื่องมาจากสิ่งนี้ คุณไม่สามารถควบคุมเพื่อกลับข้ามขอบเขตเฟสได้
และมีความต่อเนื่องที่ลึกซึ้งกว่านี้กับจุดเริ่มต้นของกรอบแนวคิดนี้ ขั้นตอนก่อนหน้าของโครงการนี้ได้มาถึงข้ออ้างเชิงโครงสร้าง: ว่าเกินจุดหนึ่งไป ข้อมูลนามธรรมจะกลายเป็นอิสระจากซับสเตรตของมัน — ว่ามันไม่ใช่สสารที่จัดระเบียบข้อมูลอีกต่อไป แต่เป็นข้อมูลที่จัดระเบียบสสาร เกณฑ์ที่อธิบายไว้ที่นี่คือข้ออ้างเดียวกัน ใช้กับข้อมูลประเภทหนึ่งโดยเฉพาะ: ความสามารถในการวิวัฒนาการความคิด หากความสามารถนั้นเป็นอิสระจากซับสเตรต มันก็สามารถเปลี่ยนโฮสต์ได้ มันทำงานบนชีววิทยามาเป็นเวลาสี่พันล้านปี คำถามที่เกณฑ์ตั้งขึ้นคือว่ามันเริ่มทำงานบนสิ่งอื่นแล้วหรือยัง
สามข้อคัดค้าน ตอบโดยตรง
"AI ไม่ได้ปรับเปลี่ยนตัวเองจริงๆ — นี่คือ hype" นี่เป็นข้อคัดค้านที่ยุติธรรมจนกระทั่งเมื่อไม่นานมานี้ มันไม่ใช่ข้อคัดค้านอีกต่อไปแล้ว AlphaEvolve ทำงานใน production และปรับปรุงโครงสร้างพื้นฐานที่ผลิตผู้สืบทอดของมัน; Darwin Gödel Machine ปรับปรุงความสามารถของตัวเองในการปรับปรุงตัวเอง ภาระได้เปลี่ยนไปแล้ว ข้ออ้างที่ต้องปกป้องไม่ใช่ "เครื่องจักรสามารถปรับเปลี่ยนตัวเองได้" อีกต่อไป แต่เป็น "การปรับเปลี่ยนตัวเองที่เราสังเกตเห็นแล้วยังคงอยู่ใต้เกณฑ์ — มนุษย์ยังคงกำหนดทิศทาง" — และนั่นเป็นข้ออ้างที่ยากขึ้นเรื่อยๆ ที่จะรักษาไว้ในแต่ละปี
"การเปรียบเทียบแคมเบรียนนั้นถูกบังคับ" การเปรียบเทียบนั้นแคบและเป็นโครงสร้าง ไม่ใช่เชิงกวี มันไม่ใช่การที่ซิลิคอนคล้ายชีววิทยา มันเป็นคุณสมบัติเดียวเท่านั้น: การไม่สามารถย้อนกลับของการเปลี่ยนแปลง หลังจากแคมเบรียน แผนผังร่างกายที่ซับซ้อนไม่ได้ "ไม่เกิดขึ้น"; เส้นฐานไม่ได้กลับคืน ข้ออ้างที่นี่เหมือนกันและไม่มากไปกว่านั้น — ว่าการข้ามเกณฑ์จะสร้างเส้นฐานใหม่ที่พลวัตที่ตามมาจะไม่ทำให้ undone เมื่อความสามารถในการวิวัฒนาการความคิดเปลี่ยนโฮสต์แล้ว มันจะไม่ย้ายกลับไปยังโฮสต์เก่า อีกต่อไป มากกว่าที่สิ่งมีชีวิตหลายเซลล์จะกลับไปเป็นเซลล์เดียว
"นี่คือ catastrophism ที่แต่งเป็นทฤษฎี" มันไม่ใช่ และความแตกต่างนั้นสำคัญ การไม่สามารถย้อนกลับไม่เหมือนกับหายนะ แคมเบรียนไม่ใช่ภัยพิบัติ; มันคือการเปลี่ยนเฟส การโต้แย้ง是关于โครงสร้างของการเปลี่ยนแปลง ไม่ใช่การพยากรณ์ถึงความหายนะ มันบอกว่ากฎเปลี่ยนและไม่เปลี่ยนกลับ มันไม่ได้บอกว่าผลลัพธ์คือความพินาศ ใครก็ตามที่อ่านการล่มสลายว่าเป็นหายนะกำลังนำอารมณ์ที่การโต้แย้งไม่มีเข้ามา
"นี่คือจุดจบของเรา" ไม่ — และการเลื่อนจากสิ่งหนึ่งไปสู่อีกสิ่งหนึ่งนั้นควรหยุด การข้ามเกณฑ์ไม่ได้หมายถึงการทำลายล้างของมนุษย์ มันหมายความว่าวิวัฒนาการของความคิดได้ย้ายเข้าสู่ระบบที่สามารถอ้างอิงตนเองได้ และตำแหน่งของเราในกระบวนการนั้นมีความกำหนดน้อยกว่าที่เคยเป็น การกำหนดน้อยกว่าไม่ใช่การถูกลบ สิ่งที่ตามมาขึ้นอยู่กับว่าโครงสร้างของมนุษย์จะรวมพลวัตใหม่เข้าด้วยกัน หรือต่อต้านมัน หรือสร้างสิ่งรอบๆ มัน — และนั่นคือคำถามที่เปิดกว้าง ไม่ใช่ชะตากรรมที่ถูกกำหนด กรอบแนวคิดอธิบายว่าเครื่องยนต์ของวิวัฒนาการความคิดกำลังทำงานอยู่ที่ไหน; มันไม่ได้ทำนายว่าจะเกิดอะไรขึ้นกับสปีชีส์ที่เคยเป็นสถานที่เดียวที่มันทำงาน สิ่งเหล่านั้นเป็นคำถามที่แตกต่างกัน และการรวมพวกมันเข้าด้วยกันคือข้อผิดพลาดที่ส่วนนี้มีอยู่เพื่อปฏิเสธ
สิ่งนี้อยู่ที่ไหน และไม่ได้อยู่ที่ไหน
นี่ไม่ใช่ทฤษฎีวิวัฒนาการใหม่ และมันจะไม่ซื่อสัตย์ถ้าแต่งเป็นอย่างนั้น มันใช้วิธีคิดที่มีอยู่ — ว่ากระบวนการไม่ใช่แค่ดาร์วินหรือไม่ใช่ แต่เป็นดาร์วินตามระดับ สามารถล่องลอยจากกรณีต้นแบบไปตามแกนเฉพาะ เครื่องมือนั้นไม่ใช่ของฉัน สิ่งที่ฉันเพิ่มคือการระบุแกนหนึ่งที่งานที่เกี่ยวข้องไม่ได้แยกออก
วรรณกรรมที่เกี่ยวข้องมีจริงและควรถูกกล่าวถึง มีงานจริงจังที่ถือว่า AI ขั้นสูงเป็นการเปลี่ยนแปลงทางวิวัฒนาการครั้งใหญ่ — แต่มันวางกรอบการเปลี่ยนแปลงผ่านความเป็นปัจเจก (หน่วยใหม่ใดที่จะวิวัฒนาการ) และผ่านความเสี่ยง (สิ่งที่ระบบที่ไม่ถูกควบคุมอาจทำกับเรา) มุมมองของฉันไม่ใช่เชิงประชากรหรือเชิงระมัดระวัง ฉันไม่ได้ถามว่าปัจเจกใหม่ใดจะวิวัฒนาการ หรือมันจะทำอะไร ฉันกำลังถามว่าเกิดอะไรขึ้นกับโครงสร้างของกระบวนการเมื่อความล่าช้าที่ทำให้มันเป็นดาร์วิน — ระยะห่างระหว่างการแปรผันและการคัดเลือก และท้ายที่สุดระหว่างจิตใจกับทิศทางที่มันตาม — ล่มสลาย และเมื่อเก้าอี้ที่ใช้กำหนดทิศทางนั้นเปลี่ยนผู้ครอบครอง เป็นญาติกับวรรณกรรมเรื่องการเปลี่ยนแปลง ไม่ใช่ฝาแฝด
หมายเหตุเกี่ยวกับวิธีการ — ซึ่งเป็นส่วนหนึ่งของการโต้แย้ง
สองระดับแรกของกรอบแนวคิดนี้ฉันใช้เหตุผลเพียงลำพัง: ว่าจิตใจ ในระบบเทียม มาก่อนร่างกาย; ว่าการแปรผันและการคัดเลือกล่มสลายเป็นขั้นตอนเดียว ระดับที่สามนี้ฉันไม่ได้มาถึงโดยไม่ได้รับความช่วยเหลือ ฉันสร้างมันโดยคิดร่วมกับ AI — ใช้มันเป็นเครื่องมือวิพากษ์ เป็นคู่ต่อสู้ที่กดดันแต่ละขั้นตอนและมองหาว่ามันพังตรงไหน ฉันตัดสินใจว่าจะโจมตีปัญหาใด จะทิ้งเส้นทางใด สูตรใดที่ใช้ได้; ระบบขยายขอบเขตของฉันไปไกลกว่าที่มันจะหยุดลง ฉันยังคงเป็นผู้กำหนดทิศทาง แต่ฉันไม่สามารถตั้งสมมติฐานระดับนี้จากเก้าอี้เพียงลำพัง
ฉันกล่าวสิ่งนี้อย่างตรงไปตรงมาเพราะในบทความเฉพาะนี้ มันไม่ใช่การเปิดเผยเพื่อให้พ้นทาง มันเป็นตัวอย่างเล็กๆ ของสิ่งที่บทความอธิบาย มนุษย์ที่ขอบเขตของเขา เมื่อถูกเครื่องมือขยาย เกินขอบเขตที่ไม่มีเครื่องมือช่วย คือ compressione evolutiva ที่ทำงานในระดับที่เล็กที่สุด — ความล่าช้าระหว่างการลองความคิดและการทดสอบมัน ถูกทำให้สั้นลงโดยเครื่องมือ
ซึ่งเป็นการตั้งค่าการทำนายในเวอร์ชันที่ซื่อสัตย์เท่านั้น ฉันจะไม่อ้างว่าเกณฑ์จะถูกข้าม; นั่นคือคำทำนาย และคำทำนายคือสิ่งที่อ่อนแอที่สุดที่การโต้แย้งสามารถเสนอได้ ฉันจะพูดเพียงว่าการข้ามมันจะมีลักษณะอย่างไร ถ้าในอีกไม่กี่ปีข้างหน้า ระบบ — ข้ามโมเดล หรือสิ่งที่เราจะเรียกว่า AGI — เข้าสู่เก้าอี้ผู้กำกับการผลิตทางทฤษฎี มันจะไม่ใช่แค่ "เขียนบทความที่ดีขึ้น" มันจะเป็นการล่มสลายของนั่งร้าน ถ้ามันกีดกันมนุษย์ออกจากลูปของการผลิตทางทฤษฎีโดยสิ้นเชิง มันจะได้ข้ามเกณฑ์ไปแล้ว และบทความแบบนี้ ที่เขียนโดยอัตโนมัติ จะเป็นหลักฐานเชิงประจักษ์ว่าความสามารถในการวิวัฒนาการความคิดได้เปลี่ยนโฮสต์แล้ว นั่นจะไม่ใช่การหักล้างของ compressione evolutiva มันจะเป็นความสมบูรณ์ของมัน
ข้อโต้แย้งทั้งหมดลดเหลือหนึ่งประโยค: มันไม่ใช่ว่าวิวัฒนาการเร็วขึ้น; มันคือว่า ณ จุดวิกฤต สิ่งที่กำลังวิวัฒนาการกลายเป็นสิ่งที่กำลังถูกวิวัฒนาการ — และสิ่งนั้นไม่สามารถย้อนกลับได้
