Tối nay tôi bỗng thấy Musk đăng một dòng tweet: "Impressive work from Kimi."
Tôi đi xem thử cái gì mà khiến lão Musk phấn khích đến vậy. Rồi tôi phát hiện ra Kimi đã công bố một bài báo.
Tôi đọc kỹ bài báo mà Musk khen ngợi. Tôi thấy nhân vật chính trong bài báo này là thứ khá quen thuộc với tôi—các kết nối dư (residual connections). Phản ứng đầu tiên của tôi là: Khoan, đây chẳng phải thứ mà DeepSeek vừa động vào cuối năm ngoái sao?
Tháng 1 năm nay, tôi đã viết một bài phân tích bài báo mHC của DeepSeek. Cốt lõi là: DeepSeek phát hiện ra thứ mà ai cũng nghĩ không cần thay đổi—các kết nối dư—và đã thay đổi nó.
Giờ Kimi cũng động dao vào kết nối dư, và Musk nói là ấn tượng. Tôi đọc bài báo với sự bối rối. Kết luận: cả hai phòng thí nghiệm đều phát hiện cùng một vấn đề, nhưng điểm xuất phát và độ sâu của giải pháp hoàn toàn khác nhau.
DeepSeek phát hiện vấn đề gì và giải quyết như thế nào?
Hãy nhanh chóng điểm lại bài báo của DeepSeek. Kết nối dư chuẩn trông như thế này:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
Đầu ra mỗi lớp = đầu ra lớp trước + kiến thức mới học được ở lớp này. Trọng số cố định, tích lũy đồng nhất. Được đề xuất bởi ResNet vào năm 2015, được tất cả các mô hình lớn sử dụng kể từ đó.
Nhận thức vấn đề của DeepSeek là: Trọng số cố định có quá cứng nhắc không? Liệu có hợp lý khi mỗi lớp đối xử với mọi lớp trước đó như nhau không?
Nỗ lực đầu tiên của họ là Hyper-Connections (HC): mở rộng luồng dư từ 1 lên 4 đường, với trọng số có thể học được cho mỗi đường. Nó hoạt động tốt nhưng có một lỗ hổng chí mạng: sự bất ổn định trong huấn luyện. Các ma trận trọng số có thể học không bị ràng buộc, và sau 60 lớp nhân lên, tín hiệu được khuếch đại 3000 lần. Đường cong loss đột nhiên tăng vọt giữa quá trình huấn luyện.
Giải pháp mHC cuối cùng: ràng buộc ma trận trọng số thành "ma trận ngẫu nhiên kép"—nơi tổng mỗi hàng và mỗi cột bằng 1. Tính chất toán học này đảm bảo chuẩn phổ (spectral norm) ≤ 1, ngăn chặn sự bùng nổ tín hiệu. Huấn luyện trở nên ổn định và hiệu suất vượt qua kết nối dư gốc với chi phí chỉ thêm 6.7% thời gian huấn luyện.
Giải pháp của DeepSeek: thay đổi trọng số kết nối từ cố định sang có thể học, sử dụng các ràng buộc toán học để đảm bảo sự ổn định.
Kimi phát hiện ra điều gì, và tại sao nó trông giống nhau?
Bài báo của Kimi cũng bắt đầu bằng việc thảo luận về các vấn đề với kết nối dư. Nhưng khi tôi đọc tiếp, định nghĩa vấn đề của Kimi ở một cấp độ khác.
DeepSeek hỏi: Trọng số có thể linh hoạt hơn không?
Kimi hỏi: Vấn đề cốt lõi hơn là gì? Dù trọng số có thể học được, điều gì vẫn chưa được giải quyết?
Họ tìm ra ba câu trả lời.
Đầu tiên, bạn không thể "gọi món theo thực đơn."
Mỗi lớp chỉ nhìn thấy "trạng thái hỗn hợp" được truyền từ lớp trước—kết quả của tất cả đầu ra các lớp trước được khuấy trộn với nhau. Nhưng các loại lớp khác nhau cần những thứ khác nhau: một số có thể cần ngữ nghĩa thô sớm, số khác có thể cần các đặc trưng vừa được tính toán. Hiện tại, tất cả đều ăn cùng một món hỗn hợp; chúng không thể nói "tôi muốn đầu ra của lớp 3."
Thứ hai, thông tin không thể được khôi phục.
Một khi một lớp học được điều gì quý giá và nó bị trộn vào trạng thái tích lũy, nó bị pha trộn với mọi thứ khác. Khi các lớp tiếp theo chồng thêm đầu ra mới, thông tin đó mờ dần và cuối cùng bị nhấn chìm. Đó là không thể đảo ngược.
Thứ ba, các lớp sau khó có tác động hơn.
Hãy tưởng tượng nói chuyện trong một căn phòng ngày càng ồn ào. Các lớp trước đã tích lũy một tín hiệu lớn; các lớp sau phải nói to hơn tất cả các lớp trước cộng lại mới được nghe thấy. Bài báo đã đo lường điều này: đến các lớp cuối, độ lớn tín hiệu gấp hơn mười lần so với ban đầu. Để có cùng tác động, các lớp sau cần gấp mười lần "âm lượng."
mHC giải quyết sự ổn định huấn luyện, nhưng ba vấn đề cốt lõi này vẫn còn—bởi vì trọng số mHC, dù có thể học, nhưng sau khi huấn luyện thì cố định. Bất kể đầu vào là gì, trọng số vẫn như nhau.
Giải pháp của Kimi: Di chuyển các giải pháp chiều thời gian sang chiều độ sâu
Giải pháp của Kimi đến từ một sự tương tự đẹp đẽ. Ba vấn đề này—không có thực đơn, mất thông tin, và la hét trong phòng ồn ào—trông có vẻ quen thuộc. Chúng chính xác là những vấn đề gặp phải trước năm 2017 khi xử lý các chuỗi văn bản với RNN.
Năm 2017, "Attention Is All You Need" đề xuất Transformer, sử dụng cơ chế attention để giải quyết điều này: mỗi vị trí không còn chỉ nhìn thấy trạng thái nén của vị trí trước mà có thể nhìn lại tất cả các vị trí lịch sử và quyết định động nơi cần tập trung.
Điều thú vị là, trong khi bài báo đó nâng cấp xử lý văn bản, nó không động đến luồng thông tin giữa các lớp—các kết nối dư vẫn là tích lũy cố định từ năm 2015.
Câu hỏi của Kimi: Khi xử lý văn bản, chúng ta đã thay thế "truyền nén" bằng attention; tại sao chúng ta vẫn sử dụng "truyền nén" giữa các lớp?
Đây là cốt lõi của AttnRes: áp dụng cơ chế attention vào các kết nối giữa các lớp. Ở một khía cạnh nào đó, đây là phần tiếp theo của "Attention Is All You Need" theo hướng chiều sâu.
Nói một cách đơn giản, mỗi lớp bây giờ có thể "nhìn lại" đầu ra của tất cả các lớp trước đó và động quyết định kết quả nào là phù hợp nhất dựa trên nội dung hiện tại. "Nhìn lại" này là cơ chế attention—giống như những gì Transformer làm với văn bản, nhưng hướng thay đổi từ "nhìn lại các từ trước đó" thành "nhìn lại các lớp trước đó."
Chi phí tham số là không đáng kể: chỉ thêm một vector cho mỗi lớp. Quan trọng nhất, các trọng số "nhìn ai" không cố định. Cùng một mô hình, xử lý các đầu vào khác nhau, sẽ tập trung vào các lớp khác nhau. Đây là sự khác biệt cốt lõi so với mHC: trọng số mHC cố định sau khi huấn luyện; trọng số AttnRes "còn sống."
Điều này làm tôi nhớ đến Proust. Trong "Đi tìm thời gian đã mất," khi Marcel nếm chiếc bánh madeleine nhúng trà, tuổi thơ Combray ùa về—không phải như một ấn tượng mơ hồ, mà như một nhận thức chính xác bỏ qua mọi chuỗi kể trung gian. Proust gọi đó là "ký ức không chủ ý." AttnRes mang lại cho mỗi lớp một khả năng Proustian được kỹ thuật hóa: được kích hoạt bởi nội dung hiện tại, nó nhảy trực tiếp đến đầu ra chính xác của bất kỳ lớp tiền nhiệm nào mà không đi qua chuỗi nén trung gian.
Sự khác biệt cốt lõi giữa hai giải pháp
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Những gì đã thay đổi | Phương pháp học của trọng số kết nối | Cấu trúc của luồng thông tin |
Trọng số: Sống hay Chết | Cố định sau khi huấn luyện | Khác nhau cho mỗi đầu vào |
Những gì có thể thấy | Chỉ trạng thái hỗn hợp của lớp trước | Có thể thấy trực tiếp đầu ra thô của tất cả các lớp trước |
Những gì đã giải quyết | Trọng số cứng nhắc | Lựa chọn "thực đơn" + hiệu ứng phòng ồn ào |
Một nghiên cứu cắt bỏ trong bài báo rất trực tiếp: nếu mô hình có thể thấy tất cả các lớp trước nhưng trọng số cố định, hầu như không có cải thiện. Nhưng với trọng số động (được quyết định theo thời gian thực dựa trên nội dung), hiệu suất cải thiện đáng kể.
Block AttnRes: Triển khai Kỹ thuật
Lý tưởng nhất, mỗi lớp nhìn lại tất cả các lớp trước (Full AttnRes). Nhưng với mô hình hơn 100 lớp, lưu trữ tất cả đầu ra quá tốn bộ nhớ. Giải pháp kỹ thuật của Kimi là Block AttnRes: chia các lớp thành khoảng 8 "khối." Trong các khối, sử dụng residuals chuẩn; giữa các khối, sử dụng attention. Sử dụng bộ nhớ giảm đáng kể trong khi vẫn giữ được hầu hết lợi ích. Chi phí huấn luyện dưới 4% và độ trễ suy luận tăng dưới 2%.
Kết quả như thế nào?
Được thử nghiệm trên mô hình 48B tham số của Kimi: Sử dụng cùng một lượng tính toán, AttnRes đạt được hiệu suất mà các phương pháp tiêu chuẩn cần thêm 25% tính toán để đạt được.
Các cải thiện tác vụ downstream là đáng kể, đặc biệt là trong lý luận:
- GPQA-Diamond: 36.9 → 44.4 (+7.5 điểm)
- Math: 53.5 → 57.1
- Code: 59.1 → 62.2
- C-Eval: 79.6 → 82.5
Mô hình đã học được gì?
Kimi trực quan hóa các mẫu "nhìn lại":
- Chủ yếu nhìn vào các lớp lân cận. Residuals chuẩn không hoàn toàn sai.
- Đầu vào gốc không bao giờ bị quên. Ngay cả ở các lớp sâu nhất, sự chú ý đến đầu vào ban đầu là khác không.
- Mô hình đã phát minh ra "lối tắt." Một số lớp bỏ qua các lớp ở giữa để tập trung vào các lớp rất sớm.
Bức tranh lớn
Hầu hết các nhóm tập trung vào dữ liệu tốt hơn, ngữ cảnh dài hơn, hoặc MoE lớn hơn. Đây là những tối ưu hóa dưới giả định rằng "kết nối lớp là cố định." Quay trở lại cấu trúc cơ bản để tìm ra đột phá đòi hỏi phán đoán kỹ thuật và sức mạnh kỹ thuật.
Các kết nối dư đã là mặc định trong mười năm. Trong vòng ba tháng, hai phòng thí nghiệm Trung Quốc đã tìm ra những đột phá cơ bản ở đây. "Impressive work" của Musk không chỉ là phép lịch sự; nó báo hiệu rằng mô hình nền tảng của deep learning đang thay đổi.
Tài liệu tham khảo:
- Attention Residuals Report: https://github.com/MoonshotAI/Attention-Residuals
- mHC Paper: https://arxiv.org/abs/2512.24880
- Kimi Linear Report: https://arxiv.org/abs/2510.26692
Kimi giải thích bài báo này một cách đơn giản: Các mô hình lớn giống như một tòa nhà 100 tầng. Trong mười năm, công nhân truyền một tệp hỗn hợp duy nhất lên từng tầng. Kimi đã lắp một chiếc điện thoại trên mỗi tầng. Giờ đây, công nhân trên tầng 100 có thể gọi trực tiếp xuống tầng 3 để kiểm tra dữ liệu thay vì đào bới một tệp đã bị sửa đổi 97 lần. Thay đổi đơn giản này đã mang lại cho mô hình một hiệu suất tốt hơn 25% miễn phí.
