Tek bir oturumun iki farklı şekilde hesaplanan maliyeti
Üç görevi olan bir Droid oturumunu ele alalım: şifre sistemini sıfırlama, telif hakkı başlığı ekleme ve faturalandırma servisini yeniden düzenleme. Hepsini Opus gibi bir öncü Claude modelinde çalıştırın, sırasıyla $0,84, $0,62 ve $1,41, toplamda oturum için $2,87 tutar.
Bunun yerine görevleri karmaşıklıklarına göre yönlendirin. İlk ikisi rutin işler, bu yüzden verimli modellerde $0,09 ve $0,12'ye düşerken, yeniden düzenleme öncü modelde $1,41'de kalır. Oturum toplamı $1,62 olur, aynı çıktı için %43 daha az maliyet ve değişen tek değişken hangi modelin hangi görevi üstlendiğidir.
Çoğu mühendislik ekibi bir model seçer ve onu orada bırakır. En uygun olduğu için değil. Çünkü oturum ortasında geçiş yapmak, kaybolan bağlam, ekstra sürtünme ve kimsenin günde 40 kez yapmak istemediği bir karar anlamına gelir. Bu yüzden her şeyi güçleri yetebilecekleri en yetenekli modele yönlendirir ve faturaya bakmayı bırakırlar.
Bu varsayılanın bir maliyeti var. Pahalı model güvenli seçenek değildir. Sadece pahalı olandır. Ve rutin işlerdeki kalite farkı, matematiğin artık geçerliliğini yitireceği kadar hızlı kapandı.
Factory Router, Droids platformlarının içinde yer alır ve her görevi otomatik olarak yönlendirir: rutin işler verimli modellere, karmaşık işler öncü modellere, her geçişte tam bağlam taşınır. Yukarıdaki oturum numaraları, lansman benchmark'larından alınmıştır. Factory modeller satmaz, bu da sizi pahalı yolda tutmak için yapısal bir teşviklerinin olmadığı anlamına gelir. Rakamları okurken bunu not etmekte fayda var.
Kimsenin ölçmediği sorun
Her Droid oturumu bir model üzerinde çalışır ve çoğu ekip Opus'u seçip bir daha bu kararı gözden geçirmez. Bu varsayılanın maliyeti görünmezdir çünkü asla bir hata olarak ortaya çıkmaz. İş hallolur, çıktı iyidir ve fatura sadece sessizce olması gerekenden daha yüksektir.
Yukarıdaki tek oturum yaklaşık $1,25 israf eder. Bu, çarpana kadar hiçbir şey gibi gelir. Ayda 10.000 oturumda, aynı varsayılan $16.400'lük gerekli harcamayı $28.700'lük gerçek harcamaya dönüştürür ki bu da yılda $147.600 demektir ve rutin işleri, hiçbir zaman yapması gerekmeyen bir öncü model üzerinden yönlendirmek için ödenir.
Çoğu ekip, oturumlarının yüzde 30 ila 50'sinin en pahalı modellerinde çalışan rutin işler olduğunu görür. Bu fark, tüm fırsattır ve aşağıda, bu farkı kapatmak için üç bölüm halinde on beş kural yer almaktadır.
→ Kural 1: Görev türlerinizi her şeyden önce sınıflandırın:
1Son 30 Droid görevinize bakın. Bunları iki gruba ayırın:23Öncü modele layık: sistem mimarisi, kimlik doğrulama, ödemeler, güvenlik,4çapraz servis bağımlılıkları içeren görevler; yanlış olması hata ayıklama veya5geri alma süresi kaybettirecek her şey. 100 satırın üzerindeki karmaşık iş mantığı yeniden düzenlemeleri.67Rutin: doküman güncellemeleri, yapılandırma değişiklikleri, mevcut fonksiyonlara test ekleme,8net spesifikasyonlara sahip küçük hata düzeltmeleri, telif hakkı başlıkları, README düzenlemeleri,9şablon kod üretimi, basit geçişler.1011Her grubu sayın.1213Factory'nin oturum düzeyindeki verilerine göre:14"şifremi sıfırla" türü görevler: Opus $0,84'e karşı yönlendirilmiş $0,09. %89 daha ucuz.15"telif hakkı başlığı ekle" türü görevler: Opus $0,62'ye karşı yönlendirilmiş $0,12. %81 daha ucuz.1617Rutin görev sayınızı bu farkla çarpın.18Bu fark, mevcut model seçim verginizdir.
→ Kural 2: Varsayımı değil, gerçek harcamayı ölçün:
1Geçen ayki Droid oturum günlüklerinizi çekin.23Her oturum için:4- Görev türü (Kural 1 sınıflandırmasından)5- Kullanılan model6- Maliyet78Hesaplayın:9- Öncü modeller kullanılarak yapılan rutin görevlerdeki toplam harcama10- Bu görevlerin verimli modellerde maliyeti ne olurdu (%80-90 indirim uygulayın)11- Yönlendirmeden elde edilebilecek aylık tasarruf1213Bu, Factory Router'ı etkinleştirmeden önceki temel çizginizdir.14Çoğu ekip, oturumların %30-50'sinin öncü modellerde çalışan rutin işler olduğunu görür.
→ Kural 3: Karmaşıklığı belirten görev tanımları yazın:
1Bir görevi tanımlama şekliniz, herhangi bir yönlendirme sistemine karmaşıklığını işaret eder.23Düşük karmaşıklık sinyalleri (verimli modellere yönlendirir):4- "İş mantığı olmayan basit yapılandırma güncellemesi: config.yaml dosyasındaki timeout değerini 30'dan 60'a değiştir"5- "/helpers içindeki yardımcı fonksiyonlara eksik JSDoc yorumlarını ekle"6- "Yeni dağıtım adımlarını yansıtacak şekilde README'yi güncelle"78Yüksek karmaşıklık sinyalleri (öncü modele yönlendirir):9- "3 servis arasında yeni SSO entegrasyonumuzu desteklemek için auth middleware'ini yeniden düzenle"10- "Yalnızca eşzamanlı yük altında ortaya çıkan ödeme işlemcisindeki yarış koşulunu hata ayıkla"11- "Kiracı bazında eşikleri işlemek için hız sınırlama sistemini yeniden tasarla"1213Spesifik, bağlam açısından zengin görev tanımları yönlendirme doğruluğunu artırır.14Belirsiz tanımlar, ihtiyatlı bir şekilde öncü modellere yönlendirilir.
→ Kural 4: Yıllık yönlendirme YG'nizi hesaplayın:
1Factory Router tasarruflarını tahmin etme formülü:23Aylık oturumlar: [N]4Yönlendirme olmadan oturum başına ortalama maliyet: [Opus baz fiyatı $ olarak]5Rutin görev yüzdesi: [Kural 1 denetiminizden %]6Rutin görev maliyet azaltımı: %80-9078Aylık tasarruf tahmini:9N × baz fiyat × rutin% × 0,85 = aylık geri kazanılan dolar1011Yıllık: 12 ile çarpın.1213Ayda 5.000 oturum çalıştıran, ortalama $2,87 maliyeti olan ve %40'ı rutin işlerden oluşan bir ekip için:145.000 × $2,87 × 0,40 × 0,85 = ayda $4.879 = yılda $58.5481516Bu minimumdur. Missions (uzun süreli otonom çalışma) tasarrufları daha da artırır.
→ Kural 5: Kod tabanınız için öncü modelin ne anlama geldiğini belgeleyin:
1Yönlendirmeyi etkinleştirmeden önce, kod tabanınız için öncü modellerde kalması gerekenleri tanımlayın.23Bunu bir kez yazın. Yönlendirme kılavuz temeliniz olarak yapıştırın:45"Aşağıdakiler her zaman öncü modeller gerektirir:6- [auth/ödemeler/güvenlik katmanına] dokunan herhangi bir değişiklik7- [N]'den fazla dosya içeren çapraz servis yeniden düzenlemeleri8- CI/CD boru hattı yapılandırmasındaki değişiklikler9- Veritabanı şeması geçişleri10- Sorun izleyicimizde [P0/kritik] olarak işaretlenen herhangi bir şey1112Diğer her şey verimli modellere yönlendirilmeye uygundur."1314Bu, yönlendirme politika belgeniz haline gelir.15Kendi kod tabanınızda öncü model işlemi gerektiren şeyleri öğrendikçe güncellersiniz.
10 geliştiriciden oluşan ekip, ayda 1.000 oturum, %40 rutin: yılda $13.776 geri kazanıldı 50 geliştiriciden oluşan ekip, ayda 5.000 oturum, %40 rutin: yılda $58.548 geri kazanıldı Kurumsal (Nvidia, Adobe ölçeği): altı haneli yıllık tasarruf
kaçınılması gereken hata: Router'ı etkinleştirmeden önce her görevi manuel olarak sınıflandırmaya çalışmayın. Router sınıflandırmayı halleder. Sizin işiniz, öncü modelde kalması gerekenler için katı kuralları tanımlamak ve sisteme geri kalan her şeyi bırakmaktır.
0:28
→ Kural 6: Factory Router'ı tek adımda etkinleştirin:
1Factory CLI veya Masaüstü Uygulamasında:231. Model seçiciyi açın42. "Factory Router"ı seçin53. İşlem tamam.67Başlamak için yapılandırma gerekmez. Router, varsayılan yönlendirme mantığını hemen kullanır.89Etkin olduğunu doğrulamak için:10Basit bir görev çalıştırın ("bu dosyadaki bir yorumu güncelle").11Oturum günlüğünde model atamasını kontrol edin.12Bunu Opus'un değil, verimli bir modelin ele aldığını görmelisiniz.1314Basit bir görevde Opus görürseniz, Router'ın seçili olduğunu ve belirli bir model geçersiz kılma olmadığını doğrulayın.
→ Kural 7: Kod tabanınız için yönlendirme kılavuzu belirleyin:
1Yönlendirme kılavuzu tavsiye niteliğindedir. Router'ın sizin özel kod tabanınız için2daha iyi kararlar almasına yardımcı olur. Bir modeli zorlamaz.34Bunu yönlendirme kılavuzunuzun başlangıç noktası olarak yapıştırın ve kendi yığınınız için düzenleyin:56"Kimlik doğrulama, ödemeler ve güvenlik değişiklikleri: öncü modeller.7Veritabanı geçişleri ve şema değişiklikleri: öncü modeller.8Harici tüketicileri etkileyen API sözleşmesi değişiklikleri: öncü modeller.910Dokümantasyon güncellemeleri: verimli modeller.11Mevcut fonksiyonlara test ekleme: verimli modeller.12Yapılandırma ve ortam değişkeni değişiklikleri: verimli modeller.13Şablon kod üretimi ve iskele kurulumu: verimli modeller.14Kod yorumları ve JSDoc: verimli modeller.15README ve değişiklik günlüğü güncellemeleri: verimli modeller.1617Diğer her şey: Router, görev bağlamına göre karar verir."
→ Kural 8: Kurumsal yönetişim için yönlendirme kılavuzu yapılandırın:
1Aracıları ölçekli olarak çalıştıran ekipler için yönlendirme kılavuzu bir yönetişim belgesi haline gelir.23Düzenlemeye tabi sektörler (bankacılık, sağlık, kurumsal SaaS) için standart şablon:45"Yüksek hassasiyetli yönlendirme kuralları:6- [KİK / finansal veri / kimlik doğrulamaya] dokunan her şey = yalnızca öncü model7- Herhangi bir harici API değişikliği = yalnızca öncü model8- Üretim dağıtım komut dosyaları = yalnızca öncü model9- Olay müdahale görevleri = yalnızca öncü model1011Standart yönlendirme:12- Geliştirme, hazırlık ve test ortamları = Router karar verir13- Dahili araçlar ve otomasyon = verimli modeller tercih edilir14- Dokümantasyon, raporlama ve iletişim = verimli modeller1516Geçersiz kılma politikası:17Herhangi bir geliştirici bir görev için öncü model talep edebilir.18Router buna tavsiye değil, katı bir geçersiz kılma olarak davranır.19Aylık inceleme için tüm öncü model geçersiz kılmalarını günlüğe kaydedin."2021Bunu proje kökünüzde ROUTING_POLICY.md olarak kaydedin.22Buna CLAUDE.md dosyanızda veya eşdeğer bağlam dosyasında başvurun.
→ Kural 9: Missions'ı yönlendirme etkinken çalıştırın:
1Missions, Factory'nin uzun süreli otonom görevleridir.2Saatler veya günler süren çalışma. Denetim gerekmez.34Factory Router etkinken, Missions aynı yönlendirme mantığından yararlanır.5Bir Mission'daki her adım uygun şekilde yönlendirilir.6Karmaşık bir Mission'daki basit adımlar verimli modellerde çalışır.7Mission, yalnızca öncü model akıl yürütmesine gerçekten ihtiyaç duyulduğunda öncü model ücretlerini öder.89Yapılandırmak için:10Herhangi bir Mission'ı başlatmadan önce Factory Router'ı etkinleştirin.11Mission'ın karmaşıklık profilini yansıtan yönlendirme kılavuzu ekleyin:1213"Bu Mission [yüksek karmaşıklıkta çekirdek iş] ve [rutin destekleyici görevler] içerir.14Çekirdek iş (mimari kararlar, güvenlik analizi): öncü model.15Destekleyici iş (dokümantasyon, yapılandırma, şablon kod): verimli modeller.16Yukarıda belirtilen akıl yürütmeyi gerektirmeyen herhangi bir adım için17mümkün olan en verimli modeli kullanın."1819Uzun Missions, daha fazla rutin adım biriktirdikleri için orantılı olarak daha büyük tasarruf sağlar.
→ Kural 10: Sağlayıcı yedekleme politikası oluşturun:
1Factory Router, güvenilirlik için sağlayıcılar arasında yönlendirme yapar.2Bir sağlayıcı yolunun performansı düşerse, oturumlar sağlıklı bir sağlayıcı üzerinden devam eder.34Çalışma süresi gereksinimleri olan kurumsal ekipler için:56"Güvenilirlik yönlendirme politikası:7- Model başına birincil sağlayıcı: [tercih ettiğiniz sağlayıcıları listeleyin]8- Yedekleme tetikleyicisi: [N] saniye gecikmeyi aşan veya başarısız olan herhangi bir istek9- Yedekleme davranışı: varsa aynı model, farklı sağlayıcı.10 Aynı model mevcut değilse, sonraki öncü modele yükselt.11- Ayrılmış TPM: seviyeniz için Factory hesap ekibiyle onaylayın.12- Hedef: %99,9+ istek güvenilirliği.1314Tüm yedekleme olaylarını günlüğe kaydedin. Sağlayıcı sağlık modelleri için haftalık olarak inceleyin."
Terminal-Bench 2: %20 daha düşük maliyetle Opus geçiş oranının %99'u Legacy-Bench: %25 daha düşük maliyetle Opus geçiş oranının %96'sı Sağlayıcı yönlendirmesi ile %99,9+ istek güvenilirliği
3 / 3 | SİSTEM: Factory'yi tasarrufların biriktiği ölçekte çalıştırmak
Maliyet tasarrufu hikayesi, bireysel geliştirici düzeyinde ilginçtir. Ekip düzeyinde önemli hale gelir. Kurumsal ölçekte ise bir bütçe kalemidir.
Nvidia. Adobe. EY. Palo Alto Networks. Adyen. Bunlar Factory'nin kurumsal müşterileridir.
Ayda 5.000 oturum çalıştıran bir ekip, %40 rutin görev oranıyla yalnızca yönlendirmeden yılda $58.548 geri kazanır. Ayda 50.000 oturumu olan bir ekip $585.480 geri kazanır. Matematik, hacimle doğrusal olarak ölçeklenir. Kurumsal token faturaları doğrusal değildir.
Daha derin nokta mimariyle ilgilidir. Çoğu yapay zeka aracı platformu, tek model varsayımı üzerine kurulmuştur. Tek ekip, tek model, tek satıcı. Factory'nin platformu, tasarım gereği modelden bağımsızdır: herhangi bir LLM (Claude, GPT, Gemini, Llama, açık kaynak), herhangi bir arayüz (CLI, Masaüstü, VS Code, Slack, GitHub, Linear, Jira, CI boru hatları), yazılım yaşam döngüsünün herhangi bir aşaması.
Router, bu mimarinin bir katmanıdır. Maliyet kontrol katmanıdır. Terminalinizde çalışan aynı Droid bağlamı Slack'te de çalışır. Bireysel oturumlara uygulanan aynı yönlendirme politikası, günlerce çalışan Missions için de geçerlidir.
Son beş kural, Router etrafında tam Factory sistemini oluşturur.
→ Kural 11: Yönlendirme tasarruflarını haftalık olarak ölçün:
1Router performansını izlemek için haftalık bir rutin oluşturun.23Factory oturum günlüklerini kontrol edin:41. Bu haftaki toplam oturum sayısı52. Model dağılımı (% kaçı hangi modele gitti)63. Yönlendirme ile maliyet vs. temel çizgi (her şeyde Opus)74. Router'ın öncü modele yükselttiği oturumlar (kalite sinyali)89Rapor formatı:10> oturumlar: [N]11> verimli model kullanımı: [%]12> öncü model kullanımı: [%]13> gerçek harcama: $[tutar]14> temel çizgi (tümü Opus) şu olurdu: $[hesaplanan]15> haftalık tasarruf: $[tutar]16> öncü modele yükseltmeler: [N] (yönlendirme kılavuzu iyileştirmeleri için inceleyin)1718Yükseltme oranı %10'un üzerindeyse, yönlendirme kılavuzunuzu gözden geçirin.19Çok fazla yükseltme, rutin görevlerin karmaşık olarak tanımlandığı anlamına gelir.
→ Kural 12: Tam dağıtımdan önce Aracı Hazırlık değerlendirmesi:
1Factory Router'ı tüm ekibiniz için dağıtmadan önce Factory'nin Aracı Hazırlık değerlendirmesini çalıştırın.23Şunlar arasında 100'den fazla sinyali değerlendirir:4- Kod tabanı sağlığı (test kapsamı, CI güvenilirliği, dokümantasyon)5- İş akışı olgunluğu (PR süreci, kod inceleme standartları, dağıtım boru hattı)6- Ekip hazırlığı (aracı araçlara aşinalık, mevcut otomasyon)78Hangi iş akışlarını önce yönlendireceğinize öncelik vermek için çıktıyı kullanın.910Yüksek hazırlıklı iş akışları: Router'ı hemen dağıtın, tam yönlendirme etkin.11Orta hazırlıklı iş akışları: Router'ı muhafazakar kılavuzla, daha fazla öncü model göreviyle dağıtın.12Düşük hazırlıklı iş akışları: Yönlendirmeden önce hazırlığı oluşturun.13Hazırlıksız kod tabanlarında aracı araçlar, hataları düzeltmek için öncü modellerde daha fazla zaman harcar.1415Router tasarrufları, yüksek hazırlıklı ortamlarda en yüksektir.
→ Kural 13: Model havuzunuzu kasıtlı olarak oluşturun:
1Factory Router, bir öncü ve verimli model havuzundan yararlanır.2Yapılandırdığınız havuz, mevcut yönlendirme seçeneklerini etkiler.34Önerilen başlangıç havuzu:56Öncü katman (karmaşık iş):7- Claude Opus (en son sürüm)8- GPT-5.2 (onaylı satıcı listenizdeyse)910Verimli katman (rutin iş):11- Kimi K2.6 (kod görevleri için F1 puanı başına en iyi değer)12- MiniMax M2.7 (basit görevler için en düşük maliyet)1314Kod tabanınızda performansı doğruladıkça modeller ekleyin.15İki katmanlı yapıyla başlayın.16Yönlendirme veriniz olduğunda üç katmana (öncü / orta / verimli) genişletin.1718Hangi modellerin hangi uyumluluk gereksinimleri için onaylandığını belgeleyin.19Kuruluşunuz belirli model sağlayıcılarını kısıtlıyorsa, havuzu buna göre yapılandırın.20ABD'de barındırılan açık kaynak modelleri, veri yerleşimi gerektiren ortamlar için Factory aracılığıyla kullanılabilir.
→ Kural 14: Yönlendirmeyi CI boru hattınıza entegre edin:
1Factory, CI boru hatlarında çalışır. Yönlendirme orada da geçerlidir.23GitHub Actions iş akışınıza Factory Router'ı ekleyin:45Çekme isteği incelemeleri için:6"PR inceleme görevlerini dosya değişiklik kapsamına göre yönlendir.7- Güvenlik ve kimlik doğrulama dosya değişiklikleri: öncü modeller8- Test dosyaları: verimli modeller9- Dokümantasyon değişiklikleri: verimli modeller10- Karma PR'ler: mümkünse bölüm bölüm yönlendir, aksi takdirde tam inceleme için öncü model"1112Otomatik GA için:13"GA görevlerini test karmaşıklığına göre yönlendir.14- Kritik yol uçtan uca testler: öncü modeller15- Birim testi oluşturma: verimli modeller16- Regresyon test paketleri: verimli modeller"1718CI yönlendirmesi, her commit'te çalıştığı için tasarrufları birleştirir.19Günde 100 commit'te test oluşturmada Opus ile Kimi K2.6 arasındaki maliyet farkı önemlidir.
→ Kural 15: Aylık yönlendirme politikası incelemeleri oluşturun:
1Yönlendirme kılavuzu, kod tabanınız ve ekibiniz büyüdükçe gelişmelidir.23Aylık inceleme gündemi (30 dakika):451. Maliyet raporu: gerçekleşen vs. temel çizgi, tasarruf eğilimi62. Yükseltme analizi: hangi görevler yükseltildi ve neden?73. Yönlendirme kılavuzu güncellemesi: mevcut kılavuz hala kod tabanı karmaşıklığını yansıtıyor mu?84. Yeni model değerlendirmesi: havuza eklenmeye değer yeni bir model var mı?95. Ekip geri bildirimi: geliştiriciler Router'ı sık sık geçersiz kılıyor mu? Neden?1011Yönlendirme kılavuzunuzun güncellenmesi gerektiğini gösteren sorular:12- Yükseltme oranı %15'in üzerinde: kılavuz verimli modellere karşı çok agresif13- Yükseltme oranı %2'nin altında: kılavuz çok muhafazakar olabilir, masada tasarruf bırakıyor olabilir14- Geliştirici geçersiz kılma oranı %20'nin üzerinde: Router, geliştirici beklentilerini karşılamıyor1516Her incelemeden sonra ROUTING_POLICY.md'yi güncelleyin.
Factory Router olmadan: her oturum, görev türünden bağımsız olarak öncü modelde çalışır Factory Router ile: rutin görevler verimli modellerde, karmaşık görevler öncü modellerde sonuç: öncü model benchmark performansının %96-99'u korunarak %20-43 maliyet azaltımı
SONUÇ
İşte matematiğin vardığı nokta bu.
çoğu ekipte mühendislik Droid oturumlarının %40-60'ı rutin görevlerdir bu oturumlar Opus'ta: oturum başına ortalama $2,87 bu oturumlar yönlendirme ile: ortalama $1,62 ayda 10.000 oturumda: yılda $147.600 geri kazanılır
Benchmark rakamları geçerliliğini koruyor: Terminal-Bench 2'de %20 daha düşük maliyetle Opus geçiş oranının %99'u. Legacy-Bench'te %25 daha düşük maliyetle %96'sı. Prompt önbelleği, model geçişlerinde bozulmadan kalır, bu nedenle yönlendirici oturum ortasında modelleri değiştirdiğinde kalite düşmez. Sağlayıcı yedeklemesi, oturumları %99,9+ güvenilirlikte çalışır durumda tutar.
Factory Router, özel araştırma ön izlemesindedir. Model seçicide bir kez seçersiniz. Ek kurulum gerekmez.
Hala anlamaya çalıştığım şey: tavsiye niteliğindeki yönlendirme kılavuzunun farklı kod tabanı türlerinde ne kadar iyi çalıştığı. "Kimlik doğrulama değişiklikleri = öncü model, doküman düzeltmeleri = rutin" gibi kurallar belirlemek kağıt üzerinde temiz görünüyor. Bir görev ortada bir yerde olduğunda ne olur? Bu, daha fazla ekip bunu kullanmaya başladıkça izlemeye değer uç durumdur.
Yukarıdaki 15 kural, kurulum sistemidir. Kural 1 ve 6 ile başlayın.
not: çoğu kişinin atlayacağı satır: Factory modeller satmaz. token faturanızdan kar etmezler. bu yapısal fark, böyle bir yönlendirme sisteminin ilk etapta var olmasının nedenidir. havuza daha fazla model eklendikçe ne olacağını görmek merak uyandırıcı.
Gömülmeden bunu yer imlerine ekleyin
Bu faydalıysa, ihtiyacı olan bir kişiyle paylaşın
