Chi phí của một phiên làm việc đơn lẻ, được đo lường theo cả hai cách
Hãy xem xét một phiên Droid với ba tác vụ: đặt lại hệ thống mật khẩu, thêm tiêu đề bản quyền và tái cấu trúc dịch vụ thanh toán. Chạy cả ba tác vụ trên một mô hình Claude hàng đầu như Opus, chi phí lần lượt là $0.84, $0.62 và $1.41, tổng cộng là $2.87 cho phiên làm việc này.
Thay vào đó, hãy định tuyến chúng dựa trên độ phức tạp. Hai tác vụ đầu tiên là thông thường, vì vậy chi phí giảm xuống còn $0.09 và $0.12 trên các mô hình hiệu quả, trong khi tác vụ tái cấu trúc vẫn ở trên mô hình hàng đầu với $1.41. Tổng chi phí phiên làm việc là $1.62, cùng một đầu ra với chi phí thấp hơn 43% và biến số duy nhất thay đổi là mô hình nào xử lý tác vụ nào.
Hầu hết các nhóm kỹ thuật chọn một mô hình và giữ nguyên nó. Không phải vì đó là lựa chọn tối ưu. Mà vì việc chuyển đổi giữa các phiên có nghĩa là mất ngữ cảnh, thêm sự phức tạp, một quyết định mà không ai muốn đưa ra 40 lần một ngày. Vì vậy, họ hướng mọi thứ đến mô hình mạnh nhất mà họ có thể chi trả và ngừng nhìn vào hóa đơn.
Lựa chọn mặc định đó có một cái giá. Mô hình đắt tiền không phải là lựa chọn an toàn. Nó chỉ là mô hình đắt tiền. Và khoảng cách chất lượng trong các tác vụ thông thường đã thu hẹp đủ nhanh để phép tính đó không còn đúng nữa.
Factory Router nằm trong nền tảng Droids của họ và tự động định tuyến từng tác vụ: công việc thông thường đến các mô hình hiệu quả, công việc phức tạp đến các mô hình hàng đầu, toàn bộ ngữ cảnh được mang theo mỗi lần chuyển đổi. Các con số phiên làm việc ở trên là từ điểm chuẩn ra mắt của họ. Factory không bán các mô hình, điều đó có nghĩa là họ không có động cơ cấu trúc để giữ bạn ở con đường đắt đỏ. Điều đó đáng lưu ý khi bạn đọc các con số.

Vấn đề không ai đo lường
Mọi phiên Droid đều chạy trên một mô hình và hầu hết các nhóm chọn Opus và không bao giờ xem xét lại lựa chọn đó. Chi phí của lựa chọn mặc định đó là vô hình vì nó không bao giờ hiển thị như một sai lầm. Công việc được hoàn thành, đầu ra tốt và hóa đơn chỉ đơn giản là cao hơn một cách lặng lẽ so với mức cần thiết.
Phiên đơn lẻ ở trên lãng phí khoảng $1.25. Điều đó dường như chẳng là gì cho đến khi bạn nhân nó lên. Với 10,000 phiên mỗi tháng, cùng một lựa chọn mặc định biến $16,400 chi tiêu cần thiết thành $28,700 chi tiêu thực tế, tức là $147,600 một năm được trả cho việc định tuyến công việc thông thường qua một mô hình hàng đầu mà không bao giờ cần thiết để làm điều đó.
Hầu hết các nhóm nhận thấy rằng 30 đến 50 phần trăm các phiên của họ là công việc thông thường chạy trên mô hình đắt nhất của họ. Khoảng cách đó là toàn bộ cơ hội và những gì tiếp theo là mười lăm quy tắc trong ba phần để thu hẹp nó.

→ Quy tắc 1: Phân loại các loại tác vụ của bạn trước bất cứ điều gì khác:
1Hãy xem xét 30 tác vụ Droid gần đây nhất của bạn. Sắp xếp chúng thành hai nhóm:23Xứng đáng với mô hình hàng đầu: các tác vụ liên quan đến kiến trúc hệ thống, xác thực, thanh toán,4bảo mật, phụ thuộc giữa các dịch vụ, bất cứ điều gì mà việc sai sót sẽ tốn thời gian gỡ lỗi hoặc5khôi phục. Các tái cấu trúc phức tạp trên 100 dòng logic kinh doanh.67Thông thường: cập nhật tài liệu, thay đổi cấu hình, thêm bài kiểm tra vào các hàm hiện có,8sửa lỗi nhỏ với thông số kỹ thuật rõ ràng, tiêu đề bản quyền, chỉnh sửa README,9tạo mã khung, di chuyển đơn giản.1011Đếm mỗi nhóm.1213Dựa trên dữ liệu cấp phiên của Factory:14các tác vụ kiểu "đặt lại mật khẩu của tôi": Opus $0.84 so với định tuyến $0.09. Rẻ hơn 89%.15các tác vụ kiểu "thêm tiêu đề bản quyền": Opus $0.62 so với định tuyến $0.12. Rẻ hơn 81%.1617Nhân số lượng tác vụ thông thường của bạn với sự khác biệt đó.18Khoảng cách đó là khoản thuế lựa chọn mô hình hiện tại của bạn.
→ Quy tắc 2: Đo lường chi tiêu thực tế, không phải giả định:
1Kéo nhật ký phiên Droid của tháng trước.23Cho mỗi phiên:4- Loại tác vụ (từ phân loại Quy tắc 1)5- Mô hình đã sử dụng6- Chi phí78Tính toán:9- Tổng chi tiêu cho các tác vụ thông thường sử dụng mô hình hàng đầu10- Chi phí của các tác vụ đó trên các mô hình hiệu quả (áp dụng giảm 80-90%)11- Khoản tiết kiệm hàng tháng có được từ việc định tuyến1213Đây là đường cơ sở của bạn trước khi kích hoạt Factory Router.14Hầu hết các nhóm thấy 30-50% phiên là công việc thông thường chạy trên các mô hình hàng đầu.
→ Quy tắc 3: Viết mô tả tác vụ báo hiệu độ phức tạp:
1Cách bạn mô tả một tác vụ báo hiệu độ phức tạp của nó cho bất kỳ hệ thống định tuyến nào.23Các tín hiệu độ phức tạp thấp (định tuyến đến các mô hình hiệu quả):4- "Cập nhật cấu hình đơn giản, không có logic kinh doanh: thay đổi thời gian chờ trong config.yaml từ 30 thành 60"5- "Thêm nhận xét JSDoc còn thiếu vào các hàm tiện ích trong /helpers"6- "Cập nhật README để phản ánh các bước triển khai mới"78Các tín hiệu độ phức tạp cao (định tuyến đến mô hình hàng đầu):9- "Tái cấu trúc middleware xác thực để hỗ trợ tích hợp SSO mới của chúng tôi trên 3 dịch vụ"10- "Gỡ lỗi điều kiện cạnh tranh trong bộ xử lý thanh toán chỉ xuất hiện dưới tải đồng thời"11- "Thiết kế lại hệ thống giới hạn tốc độ để xử lý các ngưỡng riêng cho từng người thuê"1213Các mô tả tác vụ cụ thể, giàu ngữ cảnh cải thiện độ chính xác của định tuyến.14Các mô tả mơ hồ được định tuyến một cách thận trọng đến các mô hình hàng đầu.
→ Quy tắc 4: Tính toán ROI định tuyến hàng năm của bạn:
1Công thức ước tính tiết kiệm của Factory Router:23Số phiên hàng tháng: [N]4Chi phí trung bình mỗi phiên không có định tuyến: [đường cơ sở Opus tính bằng $]5Phần trăm tác vụ thông thường: [% từ đánh giá Quy tắc 1 của bạn]6Giảm chi phí tác vụ thông thường: 80-90%78Ước tính tiết kiệm hàng tháng:9N × đường cơ sở × % thông thường × 0.85 = số tiền đô la thu hồi hàng tháng1011Hàng năm: nhân với 12.1213Đối với một nhóm chạy 5,000 phiên/tháng với chi phí trung bình $2.87 và 40% công việc thông thường:145,000 × $2.87 × 0.40 × 0.85 = $4,879/tháng = $58,548/năm1516Đây là mức tối thiểu. Missions (công việc tự động chạy dài) còn nhân lên khoản tiết kiệm hơn nữa.
→ Quy tắc 5: Ghi lại những gì chỉ dành cho mô hình hàng đầu có nghĩa là gì đối với cơ sở mã của bạn:
1Trước khi kích hoạt định tuyến, hãy xác định những gì phải ở lại trên các mô hình hàng đầu cho cơ sở mã của bạn.23Viết điều này một lần. Dán nó làm đường cơ sở hướng dẫn định tuyến của bạn:45"Những điều sau đây luôn yêu cầu mô hình hàng đầu:6- Bất kỳ thay đổi nào liên quan đến [lớp xác thực/thanh toán/bảo mật]7- Tái cấu trúc giữa các dịch vụ với hơn [N] tệp8- Thay đổi cấu hình đường ống CI/CD9- Di chuyển lược đồ cơ sở dữ liệu10- Bất cứ điều gì được gắn cờ là [P0/quan trọng] trong trình theo dõi vấn đề của chúng tôi1112Mọi thứ khác đều đủ điều kiện để định tuyến đến các mô hình hiệu quả."1314Đây trở thành tài liệu chính sách định tuyến của bạn.15Bạn cập nhật nó khi bạn học được những gì cần xử lý hàng đầu trong cơ sở mã cụ thể của mình.
nhóm 10 nhà phát triển, 1,000 phiên/tháng, 40% thông thường: $13,776/năm thu hồi nhóm 50 nhà phát triển, 5,000 phiên/tháng, 40% thông thường: $58,548/năm thu hồi doanh nghiệp (quy mô Nvidia, Adobe): tiết kiệm sáu con số hàng năm
sai lầm cần tránh: đừng cố gắng phân loại thủ công từng tác vụ trước khi kích hoạt Router. Router xử lý việc phân loại. Công việc của bạn là xác định các quy tắc cứng cho những gì phải ở lại trên mô hình hàng đầu và để hệ thống xử lý mọi thứ khác.
0:28
→ Quy tắc 6: Kích hoạt Factory Router trong một bước:
1Trong Factory CLI hoặc Ứng dụng Desktop:231. Mở trình chọn mô hình42. Chọn "Factory Router"53. Xong.67Không cần cấu hình để bắt đầu. Router sử dụng logic định tuyến mặc định ngay lập tức.89Để xác minh nó đang hoạt động:10Chạy một tác vụ đơn giản ("cập nhật một nhận xét trong tệp này").11Kiểm tra nhật ký phiên để biết thông tin về mô hình.12Bạn sẽ thấy một mô hình hiệu quả xử lý nó, không phải Opus.1314Nếu bạn thấy Opus trong một tác vụ đơn giản, hãy xác minh Router được chọn chứ không phải là một ghi đè mô hình cụ thể.
→ Quy tắc 7: Đặt hướng dẫn định tuyến cho cơ sở mã của bạn:
1Hướng dẫn định tuyến mang tính tư vấn. Nó giúp Router đưa ra quyết định tốt hơn2cho cơ sở mã cụ thể của bạn. Nó không ép buộc một mô hình.34Dán đoạn này làm điểm khởi đầu cho hướng dẫn định tuyến của bạn và chỉnh sửa cho phù hợp với ngăn xếp của bạn:56"Thay đổi xác thực, thanh toán và bảo mật: mô hình hàng đầu.7Di chuyển cơ sở dữ liệu và thay đổi lược đồ: mô hình hàng đầu.8Thay đổi hợp đồng API ảnh hưởng đến người tiêu dùng bên ngoài: mô hình hàng đầu.910Cập nhật tài liệu: mô hình hiệu quả.11Thêm bài kiểm tra vào các hàm hiện có: mô hình hiệu quả.12Thay đổi cấu hình và biến môi trường: mô hình hiệu quả.13Tạo mã khung và giàn giáo: mô hình hiệu quả.14Nhận xét mã và JSDoc: mô hình hiệu quả.15Cập nhật README và changelog: mô hình hiệu quả.1617Mọi thứ khác: Router quyết định dựa trên ngữ cảnh tác vụ."
→ Quy tắc 8: Cấu hình hướng dẫn định tuyến cho quản trị doanh nghiệp:
1Đối với các nhóm chạy tác nhân ở quy mô lớn, hướng dẫn định tuyến trở thành một tài liệu quản trị.23Mẫu tiêu chuẩn cho các ngành được quản lý (ngân hàng, chăm sóc sức khỏe, SaaS doanh nghiệp):45"Quy tắc định tuyến độ nhạy cao:6- Bất cứ điều gì liên quan đến [PII / dữ liệu tài chính / xác thực] = chỉ mô hình hàng đầu7- Bất kỳ thay đổi API bên ngoài nào = chỉ mô hình hàng đầu8- Tập lệnh triển khai sản xuất = chỉ mô hình hàng đầu9- Tác vụ ứng phó sự cố = chỉ mô hình hàng đầu1011Định tuyến tiêu chuẩn:12- Môi trường phát triển, staging và thử nghiệm = Router quyết định13- Công cụ nội bộ và tự động hóa = ưu tiên mô hình hiệu quả14- Tài liệu, báo cáo và truyền thông = mô hình hiệu quả1516Chính sách ghi đè:17Bất kỳ nhà phát triển nào cũng có thể yêu cầu mô hình hàng đầu cho một tác vụ.18Router coi đây là một ghi đè cứng, không phải tư vấn.19Ghi lại tất cả các ghi đè mô hình hàng đầu để xem xét hàng tháng."2021Lưu cái này dưới dạng ROUTING_POLICY.md trong thư mục gốc dự án của bạn.22Tham chiếu nó trong CLAUDE.md của bạn hoặc tệp ngữ cảnh tương đương.
→ Quy tắc 9: Chạy Missions với định tuyến được kích hoạt:
1Missions là các tác vụ tự động chạy dài của Factory.2Hàng giờ hoặc hàng ngày làm việc. Không cần giám sát.34Với Factory Router được kích hoạt, Missions được hưởng lợi từ cùng một logic định tuyến.5Mỗi bước trong một Mission được định tuyến phù hợp.6Các bước đơn giản trong một Mission phức tạp chạy trên các mô hình hiệu quả.7Mission chỉ trả giá mô hình hàng đầu khi thực sự cần suy luận hàng đầu.89Để cấu hình:10Kích hoạt Factory Router trước khi bắt đầu bất kỳ Mission nào.11Thêm hướng dẫn định tuyến phản ánh hồ sơ độ phức tạp của Mission:1213"Mission này liên quan đến [công việc cốt lõi có độ phức tạp cao] và [các tác vụ hỗ trợ thông thường].14Công việc cốt lõi (quyết định kiến trúc, phân tích bảo mật): mô hình hàng đầu.15Công việc hỗ trợ (tài liệu, cấu hình, mã khung): mô hình hiệu quả.16Sử dụng mô hình hiệu quả nhất có sẵn cho bất kỳ bước nào17không yêu cầu suy luận được chỉ định ở trên."1819Các Mission dài thấy khoản tiết kiệm lớn hơn tương ứng vì chúng tích lũy nhiều bước thông thường hơn.
→ Quy tắc 10: Thiết lập chính sách dự phòng nhà cung cấp:
1Factory Router định tuyến qua các nhà cung cấp để đảm bảo độ tin cậy.2Nếu một đường dẫn nhà cung cấp bị suy giảm, các phiên sẽ tiếp tục thông qua một nhà cung cấp khỏe mạnh.34Đối với các nhóm doanh nghiệp có yêu cầu về thời gian hoạt động:56"Chính sách định tuyến độ tin cậy:7- Nhà cung cấp chính cho mỗi mô hình: [liệt kê các nhà cung cấp ưa thích của bạn]8- Kích hoạt dự phòng: bất kỳ yêu cầu nào thất bại hoặc vượt quá độ trễ [N] giây9- Hành vi dự phòng: cùng một mô hình, nhà cung cấp khác nếu có sẵn.10 Nếu cùng một mô hình không khả dụng, hãy leo thang lên mô hình hàng đầu tiếp theo.11- TPM chuyên dụng: xác nhận với nhóm tài khoản Factory cho cấp độ của bạn.12- Mục tiêu: độ tin cậy yêu cầu 99.9%+.1314Ghi lại tất cả các sự kiện dự phòng. Xem xét hàng tuần để biết các mẫu sức khỏe của nhà cung cấp."
Terminal-Bench 2: 99% tỷ lệ vượt qua của Opus với chi phí thấp hơn 20% Legacy-Bench: 96% tỷ lệ vượt qua của Opus với chi phí thấp hơn 25% Độ tin cậy yêu cầu 99.9%+ thông qua định tuyến nhà cung cấp
3 / 3 | HỆ THỐNG: chạy Factory ở quy mô nơi các khoản tiết kiệm được nhân lên
Câu chuyện tiết kiệm chi phí rất thú vị ở cấp độ nhà phát triển cá nhân. Nó trở nên đáng kể ở cấp độ nhóm. Ở quy mô doanh nghiệp, nó là một khoản mục ngân sách.
Nvidia. Adobe. EY. Palo Alto Networks. Adyen. Đây là những khách hàng doanh nghiệp của Factory.
Một nhóm chạy 5,000 phiên mỗi tháng thu hồi được $58,548 mỗi năm chỉ từ định tuyến, với tỷ lệ tác vụ thông thường 40%. Một nhóm ở 50,000 phiên thu hồi được $585,480. Phép tính tuyến tính với khối lượng. Hóa đơn token doanh nghiệp không phải là tuyến tính.
Điểm sâu sắc hơn là về kiến trúc. Hầu hết các nền tảng tác nhân AI được xây dựng trên một giả định về một mô hình duy nhất. Một nhóm, một mô hình, một nhà cung cấp. Nền tảng của Factory độc lập với mô hình theo thiết kế: bất kỳ LLM nào (Claude, GPT, Gemini, Llama, nguồn mở), bất kỳ giao diện nào (CLI, Desktop, VS Code, Slack, GitHub, Linear, Jira, đường ống CI), bất kỳ giai đoạn nào của vòng đời phần mềm.
Router là một lớp của kiến trúc đó. Nó là lớp kiểm soát chi phí. Cùng một ngữ cảnh Droid hoạt động trong terminal của bạn cũng hoạt động trong Slack. Cùng một chính sách định tuyến áp dụng cho các phiên cá nhân cũng áp dụng cho các Missions chạy trong nhiều ngày.
Năm quy tắc cuối cùng xây dựng hệ thống Factory hoàn chỉnh xung quanh Router.

→ Quy tắc 11: Đo lường tiết kiệm định tuyến hàng tuần:
1Thiết lập một thói quen hàng tuần để theo dõi hiệu suất của Router.23Kiểm tra trong nhật ký phiên Factory:41. Tổng số phiên trong tuần này52. Phân phối mô hình (% nào đã đi đến mô hình nào)63. Chi phí với định tuyến so với đường cơ sở (Opus trên mọi thứ)74. Bất kỳ phiên nào mà Router đã leo thang lên mô hình hàng đầu (tín hiệu chất lượng)89Định dạng báo cáo:10> phiên: [N]11> sử dụng mô hình hiệu quả: [%]12> sử dụng mô hình hàng đầu: [%]13> chi tiêu thực tế: $[số tiền]14> đường cơ sở (tất cả Opus) sẽ là: $[tính toán]15> tiết kiệm hàng tuần: $[số tiền]16> số lần leo thang lên mô hình hàng đầu: [N] (xem xét để cải thiện hướng dẫn định tuyến)1718Nếu tỷ lệ leo thang trên 10%, hãy xem xét lại hướng dẫn định tuyến của bạn.19Quá nhiều lần leo thang có nghĩa là các tác vụ thông thường đang được mô tả là phức tạp.
→ Quy tắc 12: Đánh giá mức sẵn sàng của tác nhân trước khi triển khai đầy đủ:
1Trước khi triển khai Factory Router cho toàn bộ nhóm của bạn, hãy chạy đánh giá Mức sẵn sàng của tác nhân của Factory.23Nó đánh giá 100+ tín hiệu trên:4- Sức khỏe cơ sở mã (mức độ bao phủ kiểm thử, độ tin cậy CI, tài liệu)5- Mức độ trưởng thành của quy trình làm việc (quy trình PR, tiêu chuẩn đánh giá mã, đường ống triển khai)6- Mức độ sẵn sàng của nhóm (sự quen thuộc với các công cụ tác nhân, tự động hóa hiện có)78Sử dụng đầu ra để ưu tiên quy trình làm việc nào cần định tuyến trước.910Quy trình làm việc có mức sẵn sàng cao: triển khai Router ngay lập tức, định tuyến đầy đủ được kích hoạt.11Quy trình làm việc có mức sẵn sàng trung bình: triển khai Router với hướng dẫn thận trọng, nhiều tác vụ mô hình hàng đầu hơn.12Quy trình làm việc có mức sẵn sàng thấp: xây dựng mức sẵn sàng trước khi định tuyến.13Các công cụ tác nhân trên các cơ sở mã chưa được chuẩn bị dành nhiều thời gian hơn trên các mô hình hàng đầu để sửa lỗi.1415Khoản tiết kiệm của Router là cao nhất trong các môi trường có mức sẵn sàng cao.
→ Quy tắc 13: Xây dựng nhóm mô hình của bạn một cách có chủ đích:
1Factory Router rút từ một nhóm các mô hình hàng đầu và hiệu quả.2Nhóm bạn cấu hình ảnh hưởng đến các tùy chọn định tuyến có sẵn.34Nhóm khởi đầu được đề xuất:56Bậc hàng đầu (công việc phức tạp):7- Claude Opus (phiên bản mới nhất)8- GPT-5.2 (nếu có trong danh sách nhà cung cấp được phê duyệt của bạn)910Bậc hiệu quả (công việc thông thường):11- Kimi K2.6 (giá trị tốt nhất trên mỗi điểm F1 cho các tác vụ mã)12- MiniMax M2.7 (chi phí thấp nhất cho các tác vụ đơn giản)1314Thêm các mô hình khi bạn xác thực hiệu suất trên cơ sở mã của mình.15Bắt đầu với cấu trúc hai bậc.16Mở rộng lên ba bậc (hàng đầu / trung bình / hiệu quả) khi bạn có dữ liệu định tuyến.1718Ghi lại các mô hình nào được phê duyệt cho các yêu cầu tuân thủ nào.19Nếu doanh nghiệp của bạn hạn chế các nhà cung cấp mô hình nhất định, hãy cấu hình nhóm cho phù hợp.20Các mô hình nguồn mở được lưu trữ tại Hoa Kỳ có sẵn thông qua Factory cho các môi trường yêu cầu lưu trữ dữ liệu.
→ Quy tắc 14: Tích hợp định tuyến vào đường ống CI của bạn:
1Factory hoạt động trong các đường ống CI. Định tuyến cũng được áp dụng ở đó.23Thêm Factory Router vào quy trình GitHub Actions của bạn:45Đối với các đánh giá yêu cầu kéo:6"Định tuyến các tác vụ đánh giá PR theo phạm vi thay đổi tệp.7- Thay đổi tệp bảo mật và xác thực: mô hình hàng đầu8- Tệp kiểm thử: mô hình hiệu quả9- Thay đổi tài liệu: mô hình hiệu quả10- PR hỗn hợp: định tuyến theo từng phần nếu có thể, nếu không thì mô hình hàng đầu cho toàn bộ đánh giá"1112Đối với QA tự động:13"Định tuyến các tác vụ QA theo độ phức tạp của kiểm thử.14- Kiểm thử đầu cuối đường dẫn quan trọng: mô hình hàng đầu15- Tạo kiểm thử đơn vị: mô hình hiệu quả16- Bộ kiểm thử hồi quy: mô hình hiệu quả"1718Định tuyến CI nhân lên khoản tiết kiệm vì nó chạy trên mọi commit.19Sự khác biệt về chi phí giữa Opus và Kimi K2.6 trong việc tạo kiểm thử trên 100 commit hàng ngày là đáng kể.
→ Quy tắc 15: Thiết lập đánh giá chính sách định tuyến hàng tháng:
1Hướng dẫn định tuyến nên phát triển khi cơ sở mã và nhóm của bạn phát triển.23Chương trình đánh giá hàng tháng (30 phút):451. Báo cáo chi phí: thực tế so với đường cơ sở, xu hướng tiết kiệm62. Phân tích leo thang: tác vụ nào đã leo thang và tại sao73. Cập nhật hướng dẫn định tuyến: hướng dẫn hiện tại có còn phản ánh độ phức tạp của cơ sở mã không?84. Đánh giá mô hình mới: có mô hình mới nào trong nhóm đáng thêm không?95. Phản hồi của nhóm: các nhà phát triển có thường xuyên ghi đè Router không? Tại sao?1011Các câu hỏi báo hiệu hướng dẫn định tuyến của bạn cần cập nhật:12- Tỷ lệ leo thang trên 15%: hướng dẫn quá tích cực hướng tới các mô hình hiệu quả13- Tỷ lệ leo thang dưới 2%: hướng dẫn có thể quá thận trọng, để lại khoản tiết kiệm trên bàn14- Tỷ lệ ghi đè của nhà phát triển trên 20%: Router không đáp ứng kỳ vọng của nhà phát triển1516Cập nhật ROUTING_POLICY.md sau mỗi lần đánh giá.
không có Factory Router: mọi phiên chạy trên mô hình hàng đầu, bất kể loại tác vụ với Factory Router: tác vụ thông thường trên các mô hình hiệu quả, tác vụ phức tạp trên các mô hình hàng đầu kết quả: giảm chi phí 20-43% với 96-99% hiệu suất điểm chuẩn hàng đầu được duy trì
KẾT LUẬN
Đây là nơi các phép tính hạ cánh.
40-60% các phiên Droid kỹ thuật là các tác vụ thông thường trên hầu hết các nhóm các phiên đó trên Opus: trung bình $2.87 mỗi phiên các phiên đó với định tuyến: trung bình $1.62 ở 10,000 phiên mỗi tháng: $147,600 thu hồi mỗi năm
Các con số điểm chuẩn vẫn vững chắc: 99% tỷ lệ vượt qua của Opus trên Terminal-Bench 2 với chi phí thấp hơn 20%. 96% trên Legacy-Bench với chi phí thấp hơn 25%. Bộ nhớ đệm lời nhắc vẫn còn nguyên vẹn qua các lần chuyển đổi mô hình, vì vậy chất lượng không giảm khi bộ định tuyến thay đổi mô hình giữa phiên. Dự phòng nhà cung cấp giữ cho các phiên hoạt động với độ tin cậy 99.9%+.
Factory Router đang trong bản xem trước nghiên cứu riêng tư. Bạn chọn nó một lần trong trình chọn mô hình. Không cần thiết lập bổ sung.
Điều tôi vẫn đang cố gắng hiểu: hướng dẫn định tuyến tư vấn hoạt động tốt như thế nào trên các loại cơ sở mã khác nhau. Thiết lập các quy tắc như "thay đổi xác thực = mô hình hàng đầu, chỉnh sửa tài liệu = thông thường" nghe có vẻ gọn gàng trên giấy tờ. Điều gì xảy ra khi một tác vụ nằm ở giữa? Đó là trường hợp cạnh tranh đáng xem khi nhiều nhóm bắt đầu sử dụng điều này.
15 quy tắc trên là hệ thống thiết lập. Bắt đầu với Quy tắc 1 và 6.
tái bút: dòng mà hầu hết mọi người sẽ lướt qua: Factory không bán các mô hình. họ không kiếm lợi từ hóa đơn token của bạn. sự khác biệt cấu trúc đó là lý do tại sao một hệ thống định tuyến như thế này tồn tại ngay từ đầu. tò mò muốn thấy điều gì sẽ xảy ra khi có nhiều mô hình hơn được thêm vào nhóm.
Đánh dấu trang này trước khi nó bị chôn vùi
Nếu điều này hữu ích, hãy chia sẻ nó với một người cần nó






