Ajanlara bağlam penceresinde bir milyon token verdik ama hâlâ çalışmıyorlar.
Bunu kaydet :)
Yetenekli bir modele bazı araçlar ve uzun bir görev veriyorsun. İlk on beş adımda dâhiyane. Odaklı ve hassas. Soruları yanıtlıyor ve kullanıcıyı iyi sorguluyor.
Ancak, konuşmalar büyümeye başladıkça ajan yönünü şaşırmaya başlıyor. Ajan, on adım önce aldığı kararlarla çelişmeye başlıyor. Bağlam penceresini uydurma bilgilerle kirletmeye başlıyor. Kullanıcı tercihlerinin var olduğunu biliyor ama onları güvenilir bir şekilde getiremiyor. Tüm bunlar olurken sen de bir şeylerin neden bozulduğunu anlamaya çalışıyorsun.
Sonuçta daha fazlasına yöneliyorsun. Görevi daha uzun süre tutabilecek daha büyük bir bağlam penceresine sahip bir model. RAG hattını optimize etmeye çalışıyorsun. Ajan hafıza çözümleri için interneti tarıyorsun.
Ve hiçbir şey beklediğin gibi çalışmıyor.
Bunun nedenini anlamak bizi tüm ajan yığınının en değerli, en az anlaşılan katmanına götürüyor.
Başarısızlık Bir Döngüdür
Ajanların bozulmasının nedeni bir yetenek eksikliği değil. Bu bir geri bildirim döngüsü ve dört halkası var. Dördünü de gördüğünde, olağan düzeltmeler artık çözüm gibi görünmüyor.
Birinci halka: bir model tüm bağlamını eşit şekilde kullanamaz ve bağlam doldukça durum kötüleşir.
Bu, çoğu insanın içselleştirmediği kısımdır. Bir modelin bilgiyi kullanma yeteneği, bağlam penceresi boyunca tekdüze değildir. Modeller, en başta ve en sonda olanı güvenilir bir şekilde kullanır ve ortadakini sistematik olarak yetersiz şekilde işler, uzun girdiler için özel olarak yapılmış olsalar bile. Daha fazla şey ekleyin, güvenilirlik daha da düşer. Bu, bir kelime listesini tekrarlamak kadar önemsiz görevlerde bile ortaya çıkar. Tek bir dikkat dağıtıcı ekleyin, performans ölçülebilir şekilde düşer. Birkaç bileşik şey ekleyin.
Yani etkili bağlam, modelin gerçekten güvenilir bir şekilde akıl yürütebildiği kısım, kutunun üzerinde yazandan çok daha küçüktür. Ve siz daha fazla şey tıkıştırdıkça küçülür.
Şimdi bir ajanın ne yaptığını düşünün. Biriktirir. Her araç sonucu, her adım geçmişi, her kendine not bağlama eklenir. Bu, ajanın attığı her adımın kalitesini istikrarlı bir şekilde düşürdüğü anlamına gelir. Büyüyen bağlam, adım başına hatalar üretiyor.
İkinci halka: bu adım başına hatalar toplanmaz. Çoğalır.
Ajanlar birkaç adım atsaydı, küçük bir adım başına hata sorun olmazdı. Ama onlarca adım atıyorlar. Ve başarısızlıklar birikmek yerine katlanıyor. Beş adımda yüzde 95 güvenilir olan bir ajan, 20 adımlık bir görevde yüzde 95 güvenilir kalmaz. Yeterli adım atın, bir yazı tura atmaya giderek yaklaşırsınız.
Daha da kötüsü, hatalar kendi kendini güçlendirir. Hafifçe yoldan sapan bir araç çağrısı, bir sonrakinin de sapma olasılığını artırır. Bunu, temel hata oranının pencerenin dolmasıyla kendisinin de arttığı birinci halkayla birleştirin ve uzun vadeli ajanların imza başarısızlık modunu elde edersiniz. Nazikçe bozulmazlar. Tutarlar ve sonra aniden uçurumdan düşerler.
Üçüncü halka: görev uzun, model durumsuz, bu yüzden durumu modelin dışında bir yere koyarsınız.
Dil modelleri çağrılar arasında hiçbir şey saklamaz. Her çağrı boş başlar. Modelin bildiği tek şey, ona geri beslediğiniz şeydir. Bu nedenle, herhangi bir uzun görev için durumu dışsallaştırmanız gerekir. Karalama defterleri. İlerleme dosyaları. Kontrol noktaları. Vektör depoları. Gerçekleri çıkaran ve bunları oturumlar arasında yeniden sunan özel hafıza katmanları.
Bu doğru ve gereklidir. Ve temiz bir düzeltme gibi görünür. Ajan önemli hiçbir şeyi unutmaz, çünkü önemli olan her şey kalıcı depolamada yaşar.
Dördüncü halka: depolanan hafıza etkisizdir ve onu geri çekmek, çözmeyi amaçladığı sorunu besler.
Döngünün kapandığı yer burasıdır. Bir model bir veritabanı üzerinde akıl yürütemez. Yalnızca bağlam penceresinde olan üzerinde akıl yürütebilir. Bu nedenle hafıza, yalnızca geri çekildiği anda yardımcı olur. Ve her getirme işlemi token ekler. Ajanın ilerlemeyi takip etmek için yazdığı her özet, daha sonra tekrar okuması gereken bir tokendır. Tarihi sıkıştırarak yer açmak için yapılan her sıkıştırma adımı kayıplıdır ve attığı ayrıntı, genellikle önemi ancak daha sonra anlaşılan ince ayrıntıdır.
Bu nedenle, bağlam sınırını yenmek için oluşturduğunuz hafıza sistemi, sonunda onu besler. Daha fazla hafıza, daha fazla getirme anlamına gelir, bu da pencerede daha fazla gürültü, daha fazla adım başına hata, bunlar katlanır ve sizi en başta hafıza aramaya iten şey budur.
Döngü gerçektir. Ve bağlam pencerenizin ne kadar büyük olduğu umurunda değildir.
Kapasite Hiçbir Zaman Önemli Olan Eksen Olmadı
Döngüyü gördüğünüzde, standart düzeltmelerin anlamsızlığı bariz hale gelir.
Daha büyük bir bağlam penceresi bunu kırmaz. Sadece uçurumdan önce biriktirebileceğiniz çürüme miktarının tavanını yükseltir. Bu arada, etkili bağlam üzerine yapılan her çalışma aynı şeyi göstermeye devam ediyor: güvenilir bir şekilde kullanılabilir kısım, reklamı yapılan sayıdan çok daha yavaş büyüyor. Gerçekte kullanamayacağınız kapasiteyi satın alıyorsunuz.
Daha fazla hafıza bunu kırmaz. Zaten her şeyi içeremeyen bir pencereye yeniden girmek için rekabet eden malzeme hacmini artırır.
Bir sonraki mimari de bunu kırmaz. Dikkatin karşısında sıralanan rakipler, Mamba gibi durum-uzay modelleri ve melezleri, geçmişi her tokeni adreslenebilir tutmak yerine sabit boyutlu bir duruma sıkıştırarak kazanır. Bu, doğrusal zamanlı çıkarım ve diziyle büyümeyen bir bellek ayak izi sağlar. Ancak hatırlama sağlayamaz. Sabit boyutlu bir durum her şeyi tutamaz, bu nedenle tasarım gereği unutur. Ölçekte, saf durum-uzay modelleri transformatörlerin tam olarak harici belleğin var olma nedenini sağladığı şeyde geride kalır: belirli bir gerçeği dizinin daha önceki rastgele bir noktasından geri çekmek. Bu nedenle ciddi dikkat-sonrası çabalar, hatırlamayı yapmak için azınlıkta dikkat katmanlarını tutan melezlerdir, bir durum modeli bunu yapamaz. Mimarisi değiştirdiğinizde duvar hareket etmez. Sadece diğer taraftan ona ulaşırsınız.
Bu nedenle ders "daha büyük bir sayı seç" değil. Kapasitenin hiçbir zaman bağlayıcı kısıtlama olmadığıdır.
Bağlayıcı kısıtlama, her adımda hangi tokenlerin pencerede yer alacağına ilişkin kararın kalitesidir.
Bütün oyun bu. Mevcut en büyük bağlam değil, mümkün olan en küçük yeterli bağlam. Hatırlamanın önünde alaka düzeyi. Bir kesme kazası yerine birinci sınıf bir işlem olarak kasıtlı unutma. Araştırma bunu doğrudan destekliyor: birkaç bin iyi seçilmiş tokenin sırayı koruyarak getirilmesi, tam bir 128K penceresini modele boşaltmaktan daha iyidir. Avantaj, ne kadarın girebileceğinde değil, neyin girdiğini seçmektedir.
Ve çoğu ekibi yakalayan tuzak da budur, çünkü seçimi yapmak için başvurdukları araç yanlış şekildedir.
Benzerlik, Alaka Düzeyi Değildir
Hangi bağlamın geri çekileceğine karar vermenin varsayılan yolu benzerlik aramasıdır. Her şeyi gömün ve ajan bağlama ihtiyaç duyduğunda, geçerli sorguya en yakın vektörleri alın.
Ancak benzerlik yanlış soruyu yanıtlar. Yakın olanı döndürür, ilgili olanı değil. Ve bunlar çok farklı şeylerdir.
Bir ajanın gerçekten yanıtlanması gereken soru asla "buna benzer olan nedir" değildir. "Bu görev ve şu anki durum göz önüne alındığında, önemli olanla ne bağlantılıdır?" Bu ilişkisel bir sorudur. Bağımlılıklar, kaynak, neyin neyin yerini aldığı ve hangi kararın hangi sonuca yol açtığı ile ilgilidir. Benzer vektörleri almak üzere ayarlanmış bir depo, modele bunun yerine bir yığın yakın-kaçırma verir. Ve yakın-kaçırmalar, tam olarak birinci halkadaki dikkat dağıtıcılardır, uçuruma katlanan adım başına hatayı tetikleyenlerdir.
Bu nedenle düzeltme, bir gömme deposunun önünde ince bir önbellek olamaz. Zeka, aramada değildir. Yapıdadır.
Kimsenin Fiyatlandırmadığı Katman
Ajan yığınında yakalanması en önemli katman model değildir ve depo da değildir. Aradaki katmandır. Modelin neye dikkat edeceğine karar veren katman.
Ve bu işi gerçekten yapmak için üç şey olması gerekir.
Tarafsız olmalıdır. İç yapılar herkesin ayaklarının altında sürekli değişiyor. Transformatörden durum-uzayına, meleze. Bir sınır modelinden diğerine, her birkaç ayda bir yeni bir fiyat-performans lideriyle. Tek bir modele kaynaklı bir bağlam stratejisi, hareketli bir hedefe oynanan bir bahistir. Kuruluşunuzun gerçekte değer biriktirdiği şey bağlamıdır, ajanlarınızın bildikleri ve yaptıklarının zor kazanılmış yapılandırılmış kaydı. Bunu bir satıcının hafıza özelliklerine kilitleyin ve en dayanıklı varlığınızı size ait olmayan bir yol haritasının rehinesi haline getirmiş olursunuz. Herhangi bir tek modelin dışında yaşayan bir seçim katmanı, aynı organize bağlamın çalıştırdığınız her modele ve henüz benimsemediğiniz bir sonrakine hizmet etmesini sağlar.
Yatay olmalıdır. Bir çerçevenin kontrol noktası tek bir çalıştırma hakkında bilir. Bir modelin yerleşik hafızası, tek bir modelin konuşmaları hakkında bilir. Bir vektör indeksi, tek bir külliyat hakkında bilir. Gerçek iş yüklerini çalıştırdığınızda gerçekten önemli olan resmi hiçbiri tutmaz: birçok ajan, birçok oturum, birçok model, hepsi tek bir tutarlı, sorgulanabilir bağlam görünümüne ihtiyaç duyar. Bu kayıt-sistemi rolü, bir uygulamanın, bir çerçevenin veya bir laboratuvarın şekillendirildiği bir şey değildir, çünkü her biri yalnızca kendi dilimini görür. Bu, hepsinin arasında yatay olarak oturan kendi katmanıdır.
Yapılandırılmış olmalıdır. Bunu "sadece daha iyi bir veritabanından" ayıran şey budur. Seçim bir alaka düzeyi problemidir ve alaka düzeyi ilişkiseldir. Bağlam üzerindeki yapı, ilişkiler ve bağımlılıklar, kaynak ve değiştirme, getirmeyi seçime dönüştüren şeydir. Bu, depolamadan temelde farklı bir ilkeldir ve döngünün talep ettiği şeydir.
"Laboratuvarlar Bunu Göndermeyecek mi?"
Bariz itiraz, model laboratuvarlarının bunu içselleştireceğidir. Sürekli hafıza ve bağlam özellikleri gönderiyorlar ve modelin kendi dikkatine ayrıcalıklı erişimleri var.
Gönderecekler ve itiraz yarı yarıya doğru. Tek bir uygulamayı saran tek bir model için, laboratuvarın halletmesine izin vermek genellikle yeterlidir. Bu iyi.
Ancak laboratuvarların teşviki, kendi modellerini daha yapışkan hale getirmektir. Bu, taşınabilirliğin tam tersidir. Bir modelin iç yapılarına kaynaklı küratörlük, çok modelli, kuruluş çapındaki duruma hizmet edemez. Gerçek bir bağlam alt katmanı, bu özelliklerle kafa kafaya rekabet etmez. Laboratuvarların yapısal olarak hizmet etmeye meyilli olmadığı durum için vardır: birçok ajan ve ekip arasında birkaç model çalıştırdığınız ve ajanlarınızın ne hakkında düşüneceğine karar veren katmanın, bugün çalıştırdıkları modelin satıcısına ait olmasına izin vermeyi reddettiğiniz durum.
Ve trend bunu daha da keskinleştiriyor. Modeller ne kadar yetenekli hale gelirse, o kadar çok kullanılıyor. Ne kadar çok kullanılırsa, bir kuruluş o kadar çok ajan çalıştırıyor. Ne kadar çok ajan çalıştırırsa, tarafsız, yatay, yapılandırılmış bir seçim katmanı o kadar değerli hale geliyor.
Bunu Kim İnşa Ediyor?
İşte bu noktada Hydradb devreye giriyor. Tarafsız, yatay ve yapılandırılmış. Benzerlik aramasının düzleştirdiği ilişkileri, bağımlılıkları, kaynağı ve değiştirmeyi tutar. Zamansal olarak sürümlendirilmiş ve tercih bilincine sahiptir, bu nedenle yalnızca neyin doğru olduğunu değil, onun yerini neyin aldığını da bilir. Belirli bir ajanın zaman içinde ne öğrendiğine dair görünürlük sağlar. Bu yapı, getirmeyi seçime dönüştüren şeydir.
HydraDB, altta katmanlı depolama üzerinde çalışır: aktif bağlam için sıcak bir bellek içi önbellek, ılık için NVMe, soğuk için nesne depolama. Bağlam, güncellik ve öneme göre yükseltilir ve düşürülür, böylece modelin üzerinde akıl yürüttüğü çalışma kümesi kasıtlı olarak küçük kalır. Model ile bilgi sahibi olabileceği her şey arasında.
Her Ajanın Cevaplaması Gereken Soru
Mimari tartışmaları, hafıza ürünlerini, bağlam-penceresi silahlanma yarışını bir kenara bırakın. Tüm bunların altında, her uzun vadeli ajan her adımda aynı soruyu yanıtlar.
Bildiği her şeyden, şu anda ne hakkında düşünmesi gerekiyor?
Daha büyük bir pencere bunu yanıtlamaz. Sadece ajana görmezden gelecek daha fazla şey verir. Döngü gerçektir, kalıcıdır ve hiçbir kapasite miktarı onu kapatamaz.
Sektör hala kapasite ile yolunu satın almaya çalışıyor. Yapamaz. Bunun her zaman bir seçim problemi olduğunu içselleştiren ekipler, çalışan ajanlar gönderecek, diğer herkes neredeyse çalışan ajanlar gönderecek.
Bu hiçbir zaman modellerin saf bir sınırlaması değildi. Sınırlı bir bütçe altında çalışan herhangi bir şey, neye dikkat edeceğini seçmek zorundadır. Seçim, bugünün sınırları için bir geçici çözüm değildir. Sınırlar altında akıl yürütmenin her zaman gerektirdiği şeydir.
Bunu faydalı bulduysanız, beni takip edin @eng_khairallah1 bunun gibi daha fazla AI içeriği için. Her hafta analizler, kurslar ve araçlar paylaşıyorum.
umarım sizin için faydalı olmuştur, Khairallah ❤️
