Kimi K3 vừa ra mắt hôm qua: 2,8 nghìn tỷ tham số, ngữ cảnh 1 triệu token, giá 3 USD mỗi triệu token đầu vào.
Hầu hết mọi người sẽ chụp ảnh màn hình các điểm chuẩn và không bao giờ gửi một tác vụ thực tế nào cho nó.
Bên trong: nơi K3 thực sự vượt trội so với stack của bạn, những điều ít ai để ý trong tuần ra mắt, và thiết lập định tuyến chính xác.
Làm đúng cách, công việc ngữ cảnh dài nặng nhất của bạn sẽ giảm xuống còn một phần ba giá của các mô hình tiên tiến.
Đây là thiết lập đầy đủ 👇
Trước khi đi sâu, tôi chia sẻ ghi chú hàng ngày về AI và vibe coding trên kênh Telegram của tôi: https://t.me/zodchixquant 🧠
Điều gì thực sự đã xảy ra, nói một cách đơn giản
Moonshot AI đã phát hành mô hình chủ lực mới vào ngày 16 tháng 7. Những sự thật nhanh, tất cả đều được xác nhận từ buổi ra mắt chính thức:
- Mô hình: Mixture-of-Experts, tổng cộng ~2,8 nghìn tỷ tham số với chỉ 16 trong số 896 chuyên gia hoạt động trên mỗi token. Được tiếp thị như mô hình lớp 3T mở đầu tiên trên thế giới
- Ngữ cảnh: 1 triệu token, và không giống như một số đối thủ, giá vẫn ổn định trên toàn bộ cửa sổ. Không có tầng cao cấp cho prompt dài
- Đầu vào: văn bản, hình ảnh và video một cách tự nhiên. Chế độ suy luận luôn bật
- Nơi sử dụng: ứng dụng Kimi (bao gồm gói miễn phí), kimi.com, Kimi Code và API tại api.moonshot.ai/v1 với model id kimi-k3. Tương thích với OpenAI, vì vậy SDK hiện tại của bạn hoạt động
- Trọng số mở: được hứa hẹn vào ngày 27 tháng 7, kèm theo báo cáo kỹ thuật và triển khai vLLM
Hai biến thể được phát hành: K3 Max cho công việc trò chuyện và tác nhân, K3 Swarm Max cho xử lý song song quy mô lớn.
Phép tính giá thực sự quan trọng
- 3 USD đầu vào / 15 USD đầu ra mỗi triệu token. Đó chính xác là giá của Sonnet 5 sau khi cửa sổ giới thiệu kết thúc vào ngày 31 tháng 8, cho một mô hình hoạt động ở một hạng cân cao hơn nhiều
- 0,30 USD mỗi triệu khi cache hit. Ngữ cảnh lặp lại có chi phí thấp hơn 10 lần. Đối với các vòng lặp tác nhân đọc lại cùng một mã nguồn, đây là đòn bẩy ẩn lớn nhất trong toàn bộ bảng giá
- Ổn định trên toàn bộ ngữ cảnh 1 triệu token. Một prompt 800K token được tính phí với cùng mức giá như một prompt 8K. So sánh điều đó với các tầng cao cấp cho ngữ cảnh dài ở nơi khác
- Thưởng ra mắt: nạp API sẽ nhận thêm 10-30% tín dụng cho đến ngày 11 tháng 8. Nếu bạn định kiểm tra nghiêm túc, hãy nạp trong thời gian đó
So sánh trung thực: K3 có chi phí đầu vào rẻ hơn 3,3 lần so với Fable 5 ($10/$50) và ngang bằng với giá tương lai của Sonnet 5 ngay hôm nay, trong khi mang cửa sổ 1M và khả năng nhìn tự nhiên.
K3 phù hợp với stack của bạn ở đâu (và không phù hợp ở đâu)
Đây là chi tiết xây dựng niềm tin thay vì thổi phồng: Blog kỹ thuật của chính Moonshot thừa nhận K3 kém hơn Claude Fable 5 và GPT-5.6 Sol về tổng thể. Họ tuyên bố kết quả cấp tiên tiến trên toàn bộ bộ công cụ của họ (Terminal Bench 2.1: 88.3, SWE Marathon: 42.0, cả hai đều tự báo cáo), nhưng họ không giả vờ đó là vua mới.
Sự trung thực đó mang lại cho bạn một quy tắc định tuyến rõ ràng:
1## Định tuyến mô hình (CLAUDE.md / tài liệu nhóm)23- Đọc ngữ cảnh dài, phân tích toàn bộ kho mã, tổng hợp tài liệu → Kimi K34 (cửa sổ 1M với giá cố định, cache hit ở 0,30 USD)5- Lập trình giao diện và nặng về UI → Kimi K3, sau đó xác minh trực quan6- Vòng lặp tác nhân với ngữ cảnh lặp lại → Kimi K3 thông qua cache hit7- Suy luận đa bước khó nhất, công việc nhạy cảm bảo mật → giữ lại Fable 5 / Opus 4.88- Chỉnh sửa nhanh và tác vụ hàng ngày → Sonnet 5 (rẻ hơn cho đến 31 tháng 8)
Mô hình: K3 là một cỗ máy khối lượng, không phải cỗ máy thông minh đỉnh cao. Định tuyến theo trọng lượng token, không phải theo uy tín.
Những điều bất ngờ trong tuần ra mắt
Bốn điều mà các bài đăng thổi phồng bỏ qua, tất cả đều từ tài liệu chính thức và blog của Moonshot:
- reasoning_effort chỉ có chế độ max khi ra mắt. Các chế độ thấp và cao sẽ đến "trong các bản cập nhật sau". Cho đến lúc đó, mọi yêu cầu đều đốt cháy đầu ra suy luận đầy đủ ở mức $15/M, vì vậy các tác vụ ngắn âm thầm đắt đỏ. Một lý do khác để giữ các chỉnh sửa nhanh ở nơi khác
- Tất cả các điểm chuẩn hiện đều tự báo cáo. Các đánh giá độc lập chỉ mới bắt đầu xuất hiện hôm nay. Hãy coi mọi biểu đồ như một tuyên bố cho đến khi bên thứ ba xác nhận
- Chế độ lịch sử suy luận được bảo toàn. K3 được huấn luyện với kỳ vọng lịch sử suy luận của nó được giữ trong ngữ cảnh qua các lượt. Loại bỏ nó khỏi pipeline của bạn và chất lượng có thể giảm. Kiểm tra xử lý của framework trước khi sản xuất
- Trọng số chưa có trên Hugging Face. Ngày 27 tháng 7 là một lời hứa, không phải một liên kết tải xuống. Và thực tế, tự lưu trữ một mô hình 2,8T không phải là đòn bẩy chi phí cho bất kỳ ai không có một dàn máy tăng tốc
Cấu hình khởi động (sao chép cái này)
Trỏ bất kỳ client tương thích OpenAI nào vào nó:
1from openai import OpenAI23client = OpenAI(4 api_key=MOONSHOT_API_KEY,5 base_url="https://api.moonshot.ai/v1",6)78response = client.chat.completions.create(9 model="kimi-k3",10 messages=[11 {"role": "system", "content": STABLE_PROJECT_CONTEXT},12 {"role": "user", "content": task},13 ],14)
Mẹo cache hit giúp giảm hóa đơn của bạn 10 lần: giữ ngữ cảnh ổn định lớn của bạn (bản sao mã nguồn, tài liệu dự án) trong một tiền tố giống hệt nhau qua các yêu cầu. Các tiền tố giống hệt nhau sẽ cache hit và tính phí ở mức $0,30/M thay vì $3.
Tái cấu trúc prompt của bạn sao cho phần ổn định đến trước và không bao giờ thay đổi, và tác vụ biến đổi đến cuối cùng.
Những sai lầm phổ biến
- Kiểm tra nó bằng các câu hỏi trò chuyện. Một MoE 2,8T với cửa sổ 1M không thể hiện gì trên "viết cho tôi một hàm". Hãy cho nó một kho mã hoàn chỉnh hoặc một kho ngữ liệu nghiên cứu, đó là loại công việc nó được xây dựng cho
- Bỏ qua giá cache. Prompting ngây thơ trả $3/M mỗi lần. Các tiền tố có cấu trúc trả $0,30 khi lặp lại. Cùng một mô hình, chênh lệch 10 lần trên khối lượng công việc tác nhân
- Trích dẫn các điểm chuẩn như sự thật. Chúng tự báo cáo và chính nhà cung cấp nói rằng nó kém hơn Fable 5. Lặp lại "đánh bại Opus" từ các luồng ra mắt là cách bạn bị cộng đồng ghi chú
- Chuyển tất cả lưu lượng qua đêm. Định tuyến một lớp khối lượng công việc trước, đọc ngữ cảnh dài là lựa chọn rõ ràng, so sánh chất lượng trong một tuần, sau đó mở rộng
- Quên bẫy effort. Suy luận chỉ max có nghĩa là K3 suy nghĩ quá mức về các tác vụ tầm thường với giá đầu ra đầy đủ. Nó là cỗ máy nặng, hãy giữ nó cho công việc nặng
Kế hoạch 15 phút
- Lấy khóa API và nạp tiền trong thời gian thưởng (3 phút)
- Kết nối cấu hình tương thích OpenAI ở trên vào stack của bạn (4 phút)
- Tái cấu trúc một prompt nặng để cache hit: tiền tố ổn định, tác vụ cuối cùng (4 phút)
- Chạy công việc ngữ cảnh dài lớn nhất của bạn trên K3 và tương tự trên mô hình hiện tại của bạn (3 phút)
- So sánh đầu ra và chi phí, sau đó thêm khối định tuyến nếu K3 xứng đáng (1 phút)
Mô hình chủ lực mới, nhà cung cấp trung thực, giá cạnh tranh. Thời điểm để tìm ra nơi nó phù hợp với stack của bạn là bây giờ, trong khi mọi người khác vẫn đang tranh luận về các biểu đồ điểm chuẩn.
Cảm ơn bạn đã đọc!
