รายละเอียดหนึ่งที่ดึงดูดจินตนาการของชุมชน X ก็คือ Kimi K3 มีสถานะคงที่ (constant state) กล่าวคือ มันไม่มี KV cache ที่เติบโตแบบเส้นตรงเมื่อบริบทเพิ่มขึ้น หรือเมื่อบทสนทนาของคุณยาวขึ้น (โดยส่วนใหญ่ - เราจะดูรายละเอียดและข้อแม้ในเร็วๆ นี้)
กรณีการใช้งานบริบทยาว (long context) เช่น การเขียนโค้ดแบบ agentic ทำให้ความต้องการหน่วยความจำเพิ่มขึ้นอย่างมหาศาล ส่งผลให้ราคาหุ้นกลุ่มหน่วยความจำเพิ่มขึ้น 10 ถึง 30 เท่า หากคุณไม่ต้องการหน่วยความจำมากขนาดนั้นเพื่อเก็บ KV cache การเพิ่มขึ้นของราคานี้สมเหตุสมผลหรือไม่? มีการถกเถียงกันอย่างเข้มข้นในหัวข้อนี้บน X
กลุ่มผู้ไม่เห็นด้วยกล่าวว่า Hybrid Linear Attention ที่ Kimi K3 ใช้ ซึ่งเรียกว่า Kimi Delta Attention (KDA) มีมาระยะหนึ่งแล้ว ดังนั้นมันจึงถูกคิดรวมอยู่ในราคาหุ้นกลุ่มหน่วยความจำแล้ว
อย่างไรก็ตาม พวกเขามองข้ามประเด็นที่ว่า - ซึ่งแตกต่างจากความพยายามก่อนหน้านี้ - Kimi K3 พิสูจน์แล้วว่า Hybrid Linear สามารถทำงานได้ดีมากในระดับพารามิเตอร์ 1T+ และให้ประสิทธิภาพระดับแนวหน้า **นี่คือข้อมูลใหม่ล่าสุทธิ (NET NEW) และสมควรได้รับความสนใจอย่างจริงจัง ก่อน Kimi K3 Hybrid Linear ถูกเชื่อว่าไม่ใช่เทคนิคสำหรับระดับแนวหน้า แต่เป็นเพียงลูกเล่นดีๆ ที่ใช้โดยพวก
**- Qwen (ซึ่งไม่เคยไปถึงระดับแนวหน้าเลย) หรือ
- Nvidia (ซึ่งลองทุกอย่างภายใต้ดวงอาทิตย์ เพียงเพราะพวกเขามี GPU ไม่จำกัด)
มาเจาะลึกกันเถอะ!
(ผมอยากทำให้ชัดเจน - นี่ไม่ใช่คำแนะนำในการลงทุน)
ประวัติโดยย่อของ Hybrid Linear:
โมเดล Linear มักจะมีความหวังที่ดีบนกระดาษเสมอ เหมือนกับลัทธิคอมมิวนิสต์
แทนที่จะมี KV cache ที่เติบโตอย่างต่อเนื่องเมื่อบริบทเพิ่มขึ้น พวกมันมีสถานะคงที่ที่ได้รับการอัปเดต ขนาดของสถานะคงที่ ไม่ว่าคุณจะมีโทเค็นพันตัวหรือล้านโทเค็น
มันฟังดูดีเกินกว่าจะเป็นจริง เพราะมันเป็นเช่นนั้น! โมเดล Linear มีปัญหาในการเรียกคืนเนื้อหาจากส่วนก่อนหน้าของการสนทนาอย่างสมบูรณ์แบบ เช่น หมายเลขโทรศัพท์จากส่วนก่อนหน้าของการสนทนา
ทำไม? เพราะโมเดลดังกล่าวอัปเดต 'สรุป' ภายใน (เรียกว่าสถานะ) ของบริบทอย่างต่อเนื่อง อย่างไรก็ตาม เนื่องจากบริบท/สรุปนี้มีขนาดคงที่ (เช่น 128\128 ในกรณีของ Kimi K3 ต่อหัว) ความจุในการจัดเก็บจึงมีจำกัด มันบีบอัดข้อมูลเพื่อให้มีประสิทธิภาพ (นั่นคือสิ่งที่โมเดลเรียนรู้ระหว่างการฝึกฝน) แต่มันต้องทิ้งข้อมูลบางส่วนอย่างแน่นอน กล่าวอีกนัยหนึ่ง การบีบอัดนั้นสูญเสีย (lossy)*
วิธีหนึ่งในการแก้ปัญหาคือการใช้ 'hybrid linear' โดยคุณรวมเลเยอร์ linear (โดยปกติ 75%) เข้ากับเลเยอร์ full attention (25%) Hybrid Linear สามารถมีเวอร์ชันที่มีประสิทธิภาพของ full attention ได้เช่นกัน (เช่น DeepSeek style MLA ในกรณีของ Kimi K3) ในขณะที่เคยมีความพยายามนี้มาก่อน โมเดล hybrid linear รุ่นก่อนหน้านี้ไม่มีประสิทธิภาพในระดับแนวหน้า!
สิ่งที่ Kimi K3 แสดงให้เห็นคือ - ด้วยรูปแบบของพวกเขาที่เรียกว่า Kimi Delta Linear Attention (KDA) - คุณสามารถบรรลุการเรียกคืนที่เกือบสมบูรณ์แบบ ดีพอๆ กับโมเดลที่ใช้ full attention ในทุกเลเยอร์ นี่คือความก้าวหน้าครั้งใหญ่ ไม่ว่าคุณจะถูกทำให้เชื่ออะไรเกี่ยวกับมัน....
Kimi K3 บรรลุสิ่งนี้ได้อย่างไร?
Moonshot ไม่ใช่รายแรกที่ใช้ hybrid linear แต่พวกเขาคิดค้นรูปแบบที่มีประสิทธิภาพสูง ซึ่งช่วยให้สามารถควบคุมการสลายของความจำ (memory decay) ได้อย่างละเอียด
แน่นอนว่าพวกเขาทำสิ่งอื่นๆ อีกมากมาย เกี่ยวข้องกับวิศวกรรมข้อมูล การพัฒนาเคอร์เนล ฯลฯ การใช้ attention residuals, stable latent MoE ฯลฯ (เราจะเข้าใจสิ่งเหล่านี้ในตอนท้าย) แต่พวกเขาทำสิ่งที่ดูเรียบง่ายซึ่งส่งผลให้ประสิทธิภาพเพิ่มขึ้นเป็นพิเศษในส่วนของ attention
สถานะ KDA ของโมเดลโดยพื้นฐานแล้วสามารถคิดได้ว่าเป็นกองความทรงจำ (เวอร์ชันที่เรียบง่ายเกินไป) ในทุกตำแหน่งโทเค็นใหม่ เมทริกซ์แนวทแยงจะถูกคำนวณและสถานะจะถูกคูณด้วยมัน ส่งผลให้ลืมความทรงจำบางอย่างมากขึ้นและบางอย่างน้อยลง (ศัพท์เทคนิค: per channel decay) ในเวอร์ชันก่อนหน้านี้ คุณจะลืมความทรงจำทั้งหมดในระดับที่เท่ากัน เคล็ดลับในการลืมอย่างเลือกสรรและรอบคอบนี้ช่วยปรับปรุงประสิทธิภาพได้อย่างมาก!
นี่คือภาพที่สวยงามซึ่งแสดงให้เห็นว่าการอัปเดตเมทริกซ์สถานะเกิดขึ้นได้อย่างไร ผมจะมีบล็อกอื่นตามมาในภายหลังซึ่งอธิบายว่าสิ่งนี้นำไปสู่ "การเรียนรู้อย่างต่อเนื่อง" (continuous learning) ซึ่งเป็นเป้าหมายสูงสุดได้อย่างไร
Kimi K3 ประหยัดหน่วยความจำได้มากแค่ไหน?
K3 มี 93 เลเยอร์และ 96 หัว KDA มีขนาด dv และ dk 128
มาดูกันว่าต้องใช้ทรัพยากรอะไรบ้างในการประมวลผล 128K โทเค็นและ 1 ล้านโทเค็นในแง่ของการจัดเก็บสถานะและ KV มาดูสองกรณี:
1) 93 เลเยอร์ MLA full attention (All-MLA) เทียบกับ
2) 69 KDA + 24 MLA full attention (โมเดล Kimi K3 จริงตามที่แสดงด้านบน)
ที่ด้านล่างของบทความ ผมได้โพสต์การคำนวณไว้
ข้อสังเกตสำคัญ:
- สำหรับ All-MLA พื้นที่จัดเก็บ KV cache เพิ่มขึ้นจาก 13.7 GB เป็น 107 GB จาก 128K เป็น 1M โทเค็น
- อย่างที่คุณเห็น สถานะ KDA สำหรับ Kimi K3 คงที่ที่ 0.22 GB โดยไม่ขึ้นอยู่กับความยาวบริบท มีเพียงส่วน MLA เท่านั้นที่เพิ่มขึ้นจาก 3.5 GB เป็น 29 GB จากบริบท 128K เป็น 1M โทเค็น
ในทั้งสองกรณี มีการประหยัดประมาณ 73% ความสวยงามคือ KDA ไม่ได้ลดทอนประสิทธิภาพระดับแนวหน้าในขณะที่ให้การประหยัดเหล่านี้ MLA ประหยัดได้มหาศาลเมื่อเทียบกับ MHA และ GQA แล้ว (เกือบ 90%) KDA ประหยัดเพิ่มอีก 73%!
บางคนจะแย้งว่าการประหยัดด้วยสถาปัตยกรรม DeepSeek V4 ในระดับ Kimi K3 จะยิ่งสูงขึ้นไปอีก จริงอยู่ DeepSeek V4 ยังไม่ได้อยู่ในระดับแนวหน้า และถึงแม้จะไปถึงระดับแนวหน้า มันก็จะพัฒนาไปในทิศทางเดียวกัน: พื้นที่จัดเก็บน้อยลง
ภาพที่สวยงามนี้ซึ่งผลิตโดย Kimi K3 เองแสดงให้เห็นถึงการประหยัด:
Kimi K3 มีเอกลักษณ์ในอุตสาหกรรมในเรื่องการประหยัดหน่วยความจำอย่างมากนี้หรือไม่?
DeepSeek V4 (https://arxiv.org/pdf/2606.19348v1) ได้ทำงานที่ยอดเยี่ยมในการลด KV cache ลง 98% แต่ไม่มีใครคิดว่าพวกเขาอยู่ใกล้ระดับแนวหน้า เมื่อ DeepSeek V4 เปิดตัว คุณสังเกตเห็นกิจกรรมในระดับเดียวกันบน X หรือไม่?
นอกจากนี้ สำหรับความชาญฉลาดทั้งหมดของพวกเขา ทุกเลเยอร์ใน DeepSeek V4 ไม่ว่าจะเป็น CSA (Compressed Sparse Attention) หรือ HCA (Highly Compressed Attention) - ทั้งสองประเภทถูกบีบอัดตามมิติของลำดับ (sequence dimension) และมันสูญเสีย (lossy) ไม่มีเลเยอร์เดียวที่มีข้อมูลที่ไม่ถูกบีบอัด นั่นคือทุกเลเยอร์สูญเสีย - จำไว้ว่าใน Kimi K3 25% ของเลเยอร์มี full attention
สมมติฐานของผมคือ Kimi K3 จะมีความสามารถที่ดีกว่าในการดึงข้อมูลเฉพาะจากบริบทก่อนหน้าในสถานการณ์บริบทยาว ดังนั้น ผมคาดการณ์ว่าสถาปัตยกรรม Kimi K3 จะถูกนำไปใช้อย่างแพร่หลายโดยห้องปฏิบัติการอื่นๆ เช่นกัน (เช่น ZAI, MiniMax, Qwen, Tencent, Xiaomi ฯลฯ) เช่นเดียวกับ DeepSeek V3 (MLA) และ DeepSeek V3.2 (MLA + DSA) ในเวลาต่อมาที่แพร่หลายในอุตสาหกรรม
CSA ของ DeepSeek สังเกตการบีบอัดตามมิติของลำดับ ส่งผลให้มี 1 โทเค็นที่ถูกบีบอัดสำหรับทุกๆ 4 โทเค็น
**
HCA ของ DeepSeek สังเกตการบีบอัดตามมิติของลำดับ ส่งผลให้มี 1 โทเค็นที่ถูกบีบอัดสำหรับทุกๆ 128 โทเค็น
แล้วประเด็นของ Funda AI ที่ว่าคุณต้องแคชสถานะ KDA หลายครั้ง เนื่องจากมันไม่สามารถบวกเพิ่มได้ (additive) เหมือน KV cache ล่ะ? นอกจากนี้ subagents จะไม่ต้องการพื้นที่จัดเก็บ KV cache ด้วยหรือไม่?
จำตัวอย่างก่อนหน้านี้ สถานะ KDA ทั้งหมดใน 69 เลเยอร์คือ 0.22 GB ดังนั้น แม้ว่าคุณจะแคช/ถ่ายภาพสถานะ (snap-shot) ทุกๆ 20K โทเค็นระหว่างเซสชันยาว ๆ มันก็คือ 50 ครั้งตลอดบริบท 1M
ดังนั้น 50 ภาพรวมเหล่านี้จะใช้พื้นที่ 50*0.22 GB ทั้งหมดรวมกันเพียง 11GB - รวมทั้งหมด (29.22 GB + 11 GB) ยังคงต่ำกว่า 107 GB ที่จำเป็นสำหรับ All MLA ที่บริบท 1M โทเค็นอย่างมาก
ประการที่สอง ประเด็นของ Funda AI คือ main agents สามารถสร้าง subagents ได้ ผู้คนจะสร้าง subagents จำนวนมาก แต่โดยปกติแล้ว เมื่อ subagent ส่งคืนการควบคุมกลับไปยัง main agent อีกครั้ง งานของมันก็เสร็จสิ้น KV + สถานะของมันจะถูกลบ ดังนั้นแม้ว่าผู้คนจะเปิดตัวเอเจนต์ที่เปิดตัว subagents หลายร้อยตัว ความต้องการ KV + สถานะก็ไม่ใช่ระยะยาว สถานะของเซสชันหลัก / main agent จำเป็นต้องได้รับการเก็บรักษาไว้นานกว่ามาก และนี่คือจุดที่ KDA ประหยัดได้มาก!!!
มีรูปแบบที่มีเอเจนต์ async ที่ทำงานยาวนาน ในกรณีเหล่านั้น KV + สถานะของพวกเขาจะต้องได้รับการบำรุงรักษา แต่ผมเห็นรูปแบบเหล่านั้นนำไปใช้น้อยมาก นี่ไม่ใช่การบอกว่ามันจะไม่เปลี่ยนแปลงในอนาคต
Subagents แบบซิงโครนัส (รูปแบบที่พบบ่อยมาก):
Subagents แบบอะซิงโครนัส (รูปแบบที่ค่อนข้างหายาก)
การนำ KDA มาใช้จะส่งผลกระทบต่อความต้องการหน่วยความจำในทางลบหรือไม่?
ผมไม่ใช่หมอดู แต่ มีความเป็นไปได้เล็กน้อยแต่ไม่เป็นศูนย์ที่มันจะทำให้ฟองสบู่หน่วยความจำแตก
ประการแรกว่าทำไมมันอาจไม่มีผลกระทบต่อความต้องการหน่วยความจำ:
- ในขณะที่การประหยัดนั้นมีจริง หาก AI โอเพนซอร์สถูกนำไปใช้อย่างแพร่หลาย การปรับใช้ส่วนใหญ่จะไม่มีประสิทธิภาพเท่ากับที่อยู่ในห้องปฏิบัติการแนวหน้าแบบปิด ดังนั้น ผลกำไรใดๆ ในระดับโมเดลจะสูญเสียไปในระดับอุตสาหกรรม เราจะมีการปรับใช้ขนาดเล็กจำนวนมากที่ไม่มีประสิทธิภาพมากนัก เช่น สำหรับองค์กรและรัฐบาลส่วนใหญ่ การใช้งานเกิดขึ้นในช่วง 12 ชั่วโมงต่อวัน โครงสร้างพื้นฐานโมเดลโอเพนซอร์สและหน่วยความจำของพวกเขาจะทำอะไรในเวลากลางคืน? โครงสร้างพื้นฐานที่ห้องปฏิบัติการขนาดใหญ่ถูกใช้งานตลอด 24 ชั่วโมงทุกวันเนื่องจากฐานลูกค้าทั่วโลก
- นอกจากนี้ เรากำลังตั้งสมมติฐานครั้งใหญ่ว่าห้องปฏิบัติการชั้นนำยังไม่มีแนวทางที่คล้ายคลึงกัน OpenAI, Anthropic, DeepMind จ้างคนที่ฉลาดที่สุดในโลก ดังนั้นจึงมีโอกาสค่อนข้างดีที่นวัตกรรมดังกล่าวถูกนำมาใช้แล้วและถูกคิดรวมอยู่ในความต้องการหน่วยความจำแล้ว
ที่กล่าวว่า ทุกครั้งที่มี SpaceX เกิดขึ้นมาและแสดงให้ผู้นำอุตสาหกรรมเห็นว่าแนวทางของพวกเขาไม่มีประสิทธิภาพเพียงใด พวกเขาคิดจากหลักการแรก (first principles) ผู้เล่นรายเดิม (Incumbents) - เนื่องจากปัญหาโครงสร้างองค์กร หรือเนื่องจากไม่หิวกระหายพอ ไม่ได้สร้างนวัตกรรมในมิติที่สำคัญ ประวัติศาสตร์ของทุนนิยมเต็มไปด้วยตัวอย่างดังกล่าวนับพัน....
ดังนั้นมันจึงเป็นสถานการณ์ที่ไม่น่าเป็นไปได้ - แต่ก็ยังมีความน่าจะเป็นที่ไม่เป็นศูนย์ - ว่าหากห้องปฏิบัติการขนาดใหญ่ไม่ขาดแคลนทรัพยากรมากนัก พวกเขาอาจจะไม่ได้สำรวจพื้นที่การออกแบบทั้งหมดเพื่อลดความต้องการหน่วยความจำถึงขนาดนี้
ในอุตสาหกรรม AI เอง มันเกิดขึ้นหลายครั้งมาก่อนที่ห้องปฏิบัติการขนาดใหญ่แสดงให้เห็นถึงความไร้ความสามารถอย่างร้ายแรง:
- ท่อส่งการฝึก (training pipeline) ของ XAI มี MFU (การใช้งาน GPU) ที่ไม่ดี - เนื่องจากนิสัยการโยนทรัพยากรการคำนวณใส่ปัญหา บวกกับการกำหนดค่าคลัสเตอร์ที่ผิดพลาดอื่นๆ และปัญหาองค์กร
- แม้จะมีทรัพยากรทั้งหมดที่พร้อมใช้ Meta ก็ฝึก Llama 4 เวอร์ชันที่ห่วยแตกของ DeepSeek's MoE
- Google ใช้เวลา 1.5 ปีนับตั้งแต่เปิดตัว ChatGPT เพื่อนำ Gemini มาสู่แถวหน้า และมันก็ยังไม่ใช่โมเดลที่ใครชื่นชอบสำหรับกรณีการใช้งานที่ได้รับความนิยมมากที่สุด: การเขียนโค้ดด้วย AI
ข้อจำกัดบังคับให้เกิดนวัตกรรม ดังนั้นจึงไม่ใช่เรื่องไม่น่าเป็นไปได้ที่ทีมเล็ก ๆ ที่มีการจัดระเบียบอย่างดีจะเก่งกว่าทีมใหญ่ที่ร่ำรวยทรัพยากร และตอนนี้ K3 ได้เปิดตัวแล้วและสถาปัตยกรรมของมันเป็นที่รู้จักกันดี หากเทคนิคแบบ KDA - ที่ตอนนี้ประสบความสำเร็จในระดับแนวหน้า - ถูกนำไปใช้โดยห้องปฏิบัติการแบบปิดด้วยเช่นกัน มันหมายถึงการลดความต้องการหน่วยความจำลง 75% อย่างน้อยสำหรับห้องปฏิบัติการบางแห่ง และพวกมันก็ค่อนข้างใหญ่ตามลำพัง ดังนั้นผลกระทบอาจเป็นหลายหมื่นล้าน
การประหยัดหน่วยความจำเหล่านี้อาจถูกกลืนกินด้วยการใช้งานที่เพิ่มขึ้นเนื่องจากการลดต้นทุนอย่างแน่นอน (Jevon's paradox) แต่ไม่รับประกันว่าการเติบโตของการบริโภคจะมากกว่าการประหยัดเสมอไป....
การแพร่กระจายของนวัตกรรมอื่นๆ: นวัตกรรมสำคัญของ Kimi K3 ไม่ใช่แค่ KDA เพียงอย่างเดียว!
Kimi K3 กำจัด positional encoding อย่างสิ้นเชิง: Positional encodings บอกหมายเลขลำดับของแต่ละโทเค็นในบริบท เลเยอร์ KDA ของมัน เนื่องจากลักษณะที่เป็น recurrent (วนซ้ำ) ไม่จำเป็นต้องใช้ positional encodings พวกมันกำจัดมันแม้กระทั่งสำหรับเลเยอร์ MLA และมันก็ไม่เสียหาย ประโยชน์? มันไม่ต้องใช้ความพยายามพิเศษใดๆ เพื่อขยายความยาวบริบทของโมเดลเมื่อเทียบกับโมเดลก่อนหน้า เรียบหรู
Kimi K3 ใช้ attention residuals ที่ระดับ 2.8T: มันทำให้แน่ใจว่า เลเยอร์ที่สูงกว่าสามารถให้ความสนใจแบบเลือกสรรต่อข้อมูลเข้าจากเลเยอร์ที่ต่ำกว่าได้อย่างมีประสิทธิภาพ ในแนวทางก่อนหน้านี้ เลเยอร์ที่สูงกว่าไม่สามารถแยกความแตกต่างระหว่างข้อมูลเข้าจากเลเยอร์ที่ต่ำกว่า ณ ตำแหน่งโทเค็นที่กำหนดได้ เนื่องจากค่าทั้งหมดถูกรวมเข้าด้วยกัน แนวทางใหม่นี้ทำให้โมเดลมีความสามารถในการแยกแยะสูงขึ้นมาก (https://arxiv.org/pdf/2603.15031
Kimi K3 ใช้ Stable Latent MoE ของ Nvidia: ประโยชน์หลักของสถาปัตยกรรม latent Mixture-of-Experts (LatentMoE) ที่เสถียรคือ ความแม่นยำของโมเดลที่สูงขึ้นและความจุของผู้เชี่ยวชาญ (expert capacity) ที่มากขึ้นด้วยต้นทุนการอนุมานที่เท่าเดิมหรือต่ำกว่า มันบรรลุสิ่งนี้โดยการฉายการแสดงแทนโทเค็น (token representations) ไปยังพื้นที่แฝง (latent space) ที่เล็กลงก่อนที่จะทำการจัดเส้นทางผู้เชี่ยวชาญ (expert routing) และการคำนวณ พวกเขาหยิบมันมาจากเอกสารของ Nvidia ในเดือนมกราคม 2026 (https://arxiv.org/pdf/2601.18089v1
ด้วยนวัตกรรมทั้งหมดนี้รวมกัน ทีม MoonShot บรรลุประสิทธิภาพการฝึก (training efficiency) ที่ 2.5 เท่าเหนือกว่าสถาปัตยกรรมก่อนหน้าของพวกเขาอย่าง Kimi K2 กล่าวคือ พวกเขาบรรลุ validation loss เดียวกันที่ FLOPs น้อยกว่า 2.5 เท่า นั่นคือการประหยัดครั้งใหญ่มหาศาลแม้กระทั่งสำหรับการคำนวณการฝึก!!!! สิ่งนี้จะช่วยให้ห้องปฏิบัติการอื่นๆ อีกมากมายสามารถฝึกโมเดลขนาดใหญ่เช่นนี้ด้วยทรัพยากรการคำนวณที่จำกัด.....
ด้วย K3 Moonshot ปลดล็อกกฎการสเกล (scaling laws) ใหม่ Kimi K3 บรรลุประสิทธิภาพการสเกลเพิ่มขึ้น 2.5× เทียบกับ Kimi K2
MoonShot ยังได้เปิดซอร์ส เคอร์เนล GPU FlashKDA ของพวกเขาสำหรับการคำนวณสถานะ KDA อย่างรวดเร็ว และ MoonMoE สำหรับการจัดส่งและรวมโทเค็น พวกเขาค่อนข้างมั่นใจในการแบ่งปันความรู้มากมาย เพราะพวกเขากำลังดำเนินการกับนวัตกรรมชุดต่อไปที่จะพาพวกเขาไปได้ไกลยิ่งขึ้น (ในท้ายที่สุด พวกเขาก็เป็นนายทุนเช่นกัน)
กฎการสเกลไม่ใช่กฎของธรรมชาติ เราสามารถค้นพบสิ่งที่ดีกว่าได้เสมอ
ยิ่งไปกว่านั้น เราอาจค้นพบกฎการสเกลใหม่ๆ กับสถาปัตยกรรมและกระบวนทัศน์การฝึกใหม่ๆ ซึ่งให้ความฉลาดที่หนาแน่นยิ่งขึ้น กฎการสเกลคือการสังเกตทางสถิติ พวกมันไม่ใช่กฎของธรรมชาติที่ไม่สามารถเปลี่ยนแปลงได้ สิ่งนี้หมายความว่าด้วยโมเดลที่ใหม่กว่า สำหรับขนาดที่เล็กลง (และ KV และสถานะที่ต่ำกว่า) เราสามารถมีประสิทธิภาพที่ดีขึ้นได้ ดังนั้นการระเบิดของความต้องการไม่ได้หมายถึงการรันโมเดลขนาดใหญ่แบบเดิมตลอดไป โมเดลจะยังคงหนาแน่นขึ้นในแง่ของความฉลาด
เรามีระบบนิเวศในรูปแบบของห้องปฏิบัติการจีน ที่มีข้อจำกัดสูง และมีความสามารถสูง - ส่วนผสมที่ทรงพลังมาก ดังที่ได้กล่าวไว้ พวกเขากำลังค้นพบมุมต่างๆ ของพื้นที่การออกแบบที่ยังไม่ถูกค้นพบโดยห้องปฏิบัติการที่มีเงินทุนมากกว่า พวกเขามีความก้าวหน้าอย่างรวดเร็วเนื่องจากการแบ่งปันความรู้อย่างเปิดเผย สิ่งนี้ช่วยให้ผู้อื่นไม่ต้องเสียความพยายามและสร้างวงล้อขึ้นมาใหม่ วิวัฒนาการของสถาปัตยกรรมเกิดขึ้นเร็วกว่าที่ควรจะเป็นมาก....
นอกจากนี้ ความสำเร็จนี้โดยทีม MoonShot จะต้องสร้างแรงบันดาลใจให้กับทีมอื่นๆ ที่มีความสามารถเท่าเทียมกันอย่างแน่นอน ไม่ว่าจะเป็น DeepSeek, ZAI, MiniMax, Tencent, Alibaba, ByteDance SEED และแม้แต่ผู้เล่นหน้าใหม่อย่าง Baidu, Ant Ling, Xiaomi Mimo, Meituan และอีกมากมาย ให้เป็นที่สุด ไม่ใช่แค่ในฐานะโมเดลโอเพนซอร์ส แต่เพื่อเป็นที่สุดโดยรวม
นวัตกรรมใหม่ๆ มากมายจะเกิดขึ้นในห้องปฏิบัติการเกิดใหม่ทั่วโลกตะวันตกเช่นกัน ไม่ว่าจะเป็นที่ xAI หรือ MSL ตอนนี้พวกเขาจัดการตัวเองได้ดีขึ้นและเริ่มส่งมอบโมเดลที่ยอดเยี่ยมแล้ว
ที่กล่าวว่า อย่างที่ผมชี้ให้เห็นอยู่เรื่อยๆ จีนมีนักวิจัย AI รุ่นใหม่มากที่สุดตามสถิติ NEURIPS การมีส่วนร่วมในสาขานี้มาจากนักวิจัยรุ่นเยาว์อย่างไม่สมส่วน (เธรดต้นทาง) ดังนั้นความก้าวหน้าอีกมากมายมีแนวโน้มที่จะเกิดขึ้นจากส่วนนั้นของโลก
จีนยังมีศูนย์กลางเมืองใหญ่ 3 แห่งที่มีความหนาแน่นของพรสวรรค์ด้าน AI เทียบเท่ากับซิลิคอนแวลลีย์ ซึ่งทำหน้าที่เป็นเบ้าหลอมผสมผสานความคิด (เธรดต้นทาง
การแบน AI โอเพนซอร์สจะไม่ช่วย:
ข้อสรุปที่น่าเสียดายของการอภิปรายนี้อาจเป็นว่าเราต้องแบน AI โอเพนซอร์สเพื่อปกป้องตลาดตะวันตก แต่นั่นจะเป็นการต่อต้านอย่างมาก
ไม่ว่าจะแบน AI โอเพนซอร์สในโลกตะวันตกหรือไม่ พื้นที่การออกแบบเหล่านี้จะถูกสำรวจ และเอกสารจะถูกตีพิมพ์ ตะวันตกก็มีห้องปฏิบัติการใหม่ที่ยอดเยี่ยมมากมายเกิดขึ้นเช่นกัน พวกเขาจะค้นพบแนวคิดใหม่ๆ มากมายเช่นกัน ตอนนี้เป็นที่ทราบกันแล้วว่ายังมีประสิทธิภาพอีกมากที่ยังเป็นไปได้
สิ่งที่ดีที่สุดคือการส่งเสริมและนำนวัตกรรมเหล่านี้มาใช้ และรับผิดชอบกับการลงทุน และหลีกเลี่ยงการเก็งกำไรอย่างบ้าคลั่ง
อนาคตสดใสมากมายเนื่องจากเทคโนโลยีนี้ แต่เราต้องระวังที่จะไม่เป็นนักเก็งกำไรบ้าคลั่งที่ถูกเรียกมาร์จิ้น (margin called)
เรายังไม่ได้ใช้ AI มากเท่าที่เราสามารถทำได้: ไม่ว่าจะในโลกธุรกิจ การศึกษา การวิจัย หรือความบันเทิง
- ในขณะที่การเขียนโค้ดเป็นหลักสำคัญของการใช้โทเค็น GenAI แต่แอปพลิเคชันอย่าง CoWorker เพิ่งเริ่มต้นเท่านั้น
- ผมอยากให้นักเรียนทุกคนในอินเดียสามารถเข้าถึงโมเดลระดับ Opus 4.8 หรือ Kimi K3 ได้อย่างไม่จำกัด พวกเขามีการเข้าถึง แต่เฉพาะกับโมเดลที่อ่อนแอกว่าเท่านั้น
- ยิ่งไปกว่านั้น เราสามารถมีกรณีการใช้งาน AI ที่มีมูลค่าสูงกว่ามากในด้านวิทยาศาสตร์ วิศวกรรมศาสตร์ และการแพทย์
- นอกจากนี้ เรามีโลกที่ aging (ผู้สูงอายุ) ที่เราต้องดูแล AI จะเป็นประโยชน์อย่างมากในเรื่องนั้น มีความเป็นไปได้มากมายในด้านความบันเทิงและเกมเช่นกัน ดังที่ Jensen Huang กล่าวไว้: "ทุกพิกเซลที่เราเห็นบนหน้าจอเพื่อความบันเทิงจะถูกสร้างขึ้น"
บทสรุป:
ตลาดหุ้นตกต่ำในปี 1929 - ภาวะเศรษฐกิจตกต่ำครั้งใหญ่ - ไม่ใช่ผลลัพธ์จากการทำลายความต้องการ มันเป็นผลมาจากความเกินพอดีในการเก็งกำไร คนทั้งโลกต้องทนทุกข์ทรมานเป็นเวลาสองทศวรรษ มันอาจกล่าวได้ว่านำไปสู่การเพิ่มขึ้นของลัทธิฟาสซิสต์และสงครามโลกครั้งที่ 2
**
ในขณะที่อนาคตไม่แน่นอน สิ่งที่ชัดเจนในการสังเกตของผมคือ นักลงทุนกระทิง AI และโดยเฉพาะอย่างยิ่งกลุ่มหน่วยความจำ ไม่ได้คำนึงถึงนวัตกรรมด้านอัลกอริทึมและการค้นพบกฎการสเกลใหม่ๆ สำหรับพวกเขา ทุกอย่างถูกกลืนกินโดย Jevon's paradox ดังนั้นจึงไม่น่าสนใจ ทัศนคตินี้ได้ซึมซาบไปถึงนักลงทุนรายย่อยเช่นกัน และนำไปสู่พฤติกรรมที่บ้าคลั่งซึ่งมีศักยภาพที่จะทำให้เศรษฐกิจของหลายประเทศล่มสลาย ผมต้องการแนะนำมุมมองใหม่ๆ ในการวิเคราะห์ของพวกเขา พวกเขามีข้อมูลที่ดีกว่ามากเกี่ยวกับสถานการณ์ห่วงโซ่อุปทานและรายได้ของบริษัท ผมต้องการเสริมพวกเขาด้วยมุมมองทางเทคนิคมากขึ้น
ในการทำให้หุ้นหน่วยความจำและ AI ตกต่ำ เราไม่จำเป็นต้องมีความต้องการลดลงอย่างมาก ดังที่ [Jaya Gupta ได้ชี้ให้เห็น](https://x.com/JayaGup10/status/2082301754872369331) แม้แต่ความต้องการที่ลดลงเล็กน้อยก็สามารถเริ่มต้นการแข่งขันทางทฤษฎีเกม (game theoretical competition) ซึ่งผู้ถือเดิมเริ่มทำกำไรด้วยความตั้งใจที่จะซื้อหุ้นในภายหลัง สิ่งนี้สามารถทำให้ตลาดทั้งหมดตกต่ำได้ และดูเหมือนว่าสิ่งนี้จะเริ่มต้นแล้ว.....
มันเป็นสิ่งสำคัญที่จะไม่ปล่อยให้ฟองสบู่ขนาดใหญ่เช่นนี้ก่อตัวและแตกออกอย่างหายนะต่อสังคม โดยรวมแล้วผมยังมองโลกในแง่ดีมากเกี่ยวกับศักยภาพของเทคโนโลยีนี้ (และแม้กระทั่งความต้องการหน่วยความจำ) และการสร้างโครงสร้างพื้นฐานในอนาคต มันเป็นช่วงเวลาที่น่าตื่นเต้นที่สุดที่จะมีชีวิตอยู่!
(ไม่ใช่คำแนะนำในการลงทุน)
ภาคผนวก
การคำนวณโดยละเอียดของการประหยัดหน่วยความจำ:
เพื่อแสดงให้เห็นว่า Kimi K3 ดีแค่ไหน ผมให้ K3 เองทำการคำนวณเหล่านี้ ผมได้ตรวจสอบแล้วว่าถูกต้อง ดังที่กล่าวไว้ก่อนหน้านี้ เราพิจารณาสองกรณี:
1) Kimi K3: 69 KDA + 24 Gated MLA full attention เทียบกับ
2) Full MLA: 93 MLA full attention
