Gece Vardiyası Sorunu: Ajanlar Her Şeyi Unuturken Nasıl Çalışır?

Claude'a yeterince büyük bir görev verin, yarısında bırakıp işin bittiğine ikna olur. İş bitmemiştir. Sadece başladığını hatırlamaz.

Bir ajan, uzun bir görev üzerinde sandığınız gibi çalışmaz. Vardiyalar halinde çalışır.

Her gelenin bir önceki vardiyada ne olduğuna dair hiçbir anısı olmayan, vardiyalı çalışan mühendislerle dolu bir yazılım projesi düşünün. Bu, ajanların nasıl hissettiğine dair bir metafor değil. Mekanik olarak tam olarak böyleler. Bağlam penceresi sınırlıdır ve çoğu gerçek iş buna sığmaz, bu yüzden ajan ayrı oturumlar halinde çalışır - ve her yeni oturum, kendinden önceki oturuma dair hiçbir anı olmadan başlar.

Anthropic tam olarak bu deneyi yaptı ve neyin bozulduğunu yayınladı. Okumaya değer kısım bu, çünkü bir blogcunun aracın zayıf olduğunu söylemesi değil. Claude'u inşa eden ekibin, Claude'un nerede çöktüğünü belgelemesi.

Tek Bir Pencere İşi Neden Bitiremez

Sınırda bir kodlama modeline üst düzey bir komut verin - "claude.ai'nin bir klonunu yap" - birçok bağlam penceresi arasında bir döngüye sokun ve çalışan bir uygulama üretemez. Bazen değil, düzenli olarak. Ve bu, Anthropic'in kendi ajan çerçevesi üzerinde çalışan, bağlam sıkıştırması açık, onu devam ettirmek için kurulmuş bir Opus.

İki belirli şekilde başarısız olur ve ikisi de vardiya devir teslim sorunlarıdır.

Birincisi: ajan her şeyi aynı anda yapmaya çalışır. Tüm uygulamayı tek bir pencerede tek seferde halletmeye kalkışır, bir özelliğin yarısında bağlamı tükenir ve oturum yarı bitmiş ve belgelenmemiş bir şeyle sona erer. Bir sonraki vardiya işbaşı yapar, kendisinin yapmadığı bir karmaşa görür ve ne olduğunu tahmin etmek zorunda kalır. Bu yüzden tüm oturumunu ilerlemek yerine sadece temel uygulamayı tekrar çalışır hale getirmek için harcar.

İkincisi daha sonra, bazı özellikler mevcut olduğunda ortaya çıkar. Yeni bir ajan etrafa bakar, gerçek bir ilerleme kaydedildiğini görür ve her şeyin bittiğine karar verir. Ama öyle değildir - özelliklerin yarısı hiç yapılmamıştır ve hangilerinin yapılmadığını kimse yazmamıştır. Vardiya, listeyi kontrol etmeden işi bitmiş ilan etmiştir.

Her iki başarısızlığın da aynı kökü vardır. Ayrılan vardiya geride hiçbir şey bırakmamıştır, bu yüzden gelen vardiya kör uçuş yapmaktadır. Çözüm daha akıllı bir model değil. Vardiyanın mesai bitmeden yazdıklarıdır.

Ayrılan Vardiyanın Yazdıkları

Anthropic'in ulaştığı cevabın iki parçası var: herhangi bir iş başlamadan önce siteyi kuran bir ajan ve ardından ilerleme kaydetmek için oturumdan oturuma gelen vardiya çalışanları.

Kurulum ajanı en başta, bir kez çalışır. Tek işi, ortamı gelecekteki her vardiyanın "bitti"nin neye benzediğini bileceği bir durumda bırakmaktır. Yazdığı kilit parça bir özellik listesidir - bitmiş uygulamanın yapması gereken her şeyi tek tek belirten yapılandırılmış bir dosya.

claude.ai klonu için bu, 200'den fazla özellik anlamına geliyordu. "Bir kullanıcı yeni bir sohbet açabilir, bir sorgu yazabilir, enter'a basabilir ve bir yanıt görebilir" gibi şeyler. Her biri başlangıçta başarısız olarak işaretlenmişti. Her giriş kabaca şöyle görünüyordu:

1{
2  "description": "Yeni sohbet butonu yeni bir konuşma başlatır",
3  "steps": ["Yeni Sohbet'e tıkla", "yeni konuşmayı doğrula", "karşılama durumunu kontrol et"],
4  "passes": false
5}

Her girişteki "passes": false tam da bu nokta. İşaretlenmemiş bir kutu ve bunlardan 200 tane var.

Bu başarısız liste, bir ajanın erken zafer ilan etmesini engelleyen şeydir. Bir vardiya etrafa bakıp işin bittiğine karar veremez, çünkü orada 200 işaretlenmemiş kutusu olan bir dosya durmaktadır. İş, ilk satırı yazılmadan önce tanımlanmıştır.

Bunun ne kadar dikkatli yapılması gerektiğini gösteren küçük bir detay: bu dosya için markdown değil JSON kullandılar. Sebebi, modelin bir markdown dosyasını sessizce yeniden yazma veya silme olasılığının JSON'a göre daha düşük olması. Ve etrafındaki talimatlar kasten serttir - testleri kaldırmak veya düzenlemek kabul edilemez, çünkü bir testi silmek bir özelliğin sessizce kaybolmasıdır. Vardiyanın bir kutuyu işaretlemesine izin verilir. Bir kutuyu silmesine izin verilmez.

Masada Bırakılan Not

İşi kurmak işin yarısıdır. Diğer yarısı, her vardiyanın bir sonrakinin içeri girebileceği kadar temiz bir yer bırakmasını sağlamaktır.

Bunu iki şey yapar. Ajan, yaptığı değişiklikleri açıklayan gerçek bir mesajla git'e işler ve bir ilerleme dosyası yazar - yapılanların sürekli bir günlüğü. Git geçmişiyle birlikte bu günlük, sıfırdan başlayan yeni bir ajanın, bir saat tersine mühendislik yapmak yerine birkaç dakika içinde işlerin durumunu anlamasını sağlar.

Git burada başka bir şey daha yapar. Bir vardiya kötü bir değişiklik yaptığında, bir sonraki vardiya hasarı çözmeye çalışmak yerine son çalışan sürüme geri dönebilir. İlerleme dosyası nerede olduğumuzu söyler. Commit geçmişi geri alma düğmesidir.

Ve "temiz"in belirli bir anlamı vardır. Ana dala birleştirmekte sorun olmayacak türden kod anlamına gelir - büyük hatalar yok, düzenli, belgelenmiş. "Teknik olarak ilerleme kaydettim" değil. Standart şudur: bir sonraki kişi, sizin dağınıklığınızı temizlemeden yeni bir özelliğe başlayabilmelidir.

Sonraki Vardiya Nasıl İşbaşı Yapar

Bu iki şeyi yerine koyun ve her vardiya aynı şekilde başlar. Yeni bir şeye dokunmadan önce, ajan kendini toparlamak için sabit bir başlangıç rutini çalıştırır - iyi bir mühendisin bir süredir görmediği bir projeye girerken yaptığı şeyin aynısı.

1hangi dizinde olduğunuzu görmek için pwd çalıştırın - düzenleyebileceğiniz tek yer burası
2son zamanlarda ne olduğunu görmek için ilerleme dosyasını ve git günlüğünü okuyun
3özellik listesini okuyun ve henüz yapılmamış en yüksek öncelikli şeyi seçin
4uygulamayı başlatın ve temel özelliklerin hala çalıştığından emin olmak için basit bir kontrol yapın
5ancak ondan sonra, inşa etmeye başlayın

Dördüncü adım göründüğünden daha önemlidir. Yeni bir özellik yazmadan önce, ajan uygulamayı başlatır ve temellerin hala çalıştığını doğrular - bir sohbet açar, bir mesaj gönderir, bir yanıt alır. Son vardiya bir şeyi bozuk bıraktıysa, yeni vardiya bozuk bir temelin üzerine yeni iş yığıp durumu daha da kötüleştirmeden bu hemen yakalanır.

İşte tüm numara bu ve bu kadar basit olması neredeyse sıkıcı. Ayrılan vardiya ne yaptığını ve ne kaldığını yazar. Gelen vardiya bir şey yapmadan önce bunu okur. Devir teslim oyunun tamamıdır.

Sizin Uzun Görevlerinizin de Vardiyaları Var

Bunların hiçbiri aslında web uygulaması oluşturmakla ilgili değil. Anthropic bunu kod üzerinde test etti çünkü kodu doğrulamak kolaydır, ancak altındaki şekil, bir ajana verdiğiniz her uzun görevin şeklidir.

Tek bir pencereye sığmayacak her şeyin vardiyaları vardır. Uzun bir raporu bölüm bölüm yazmak. Bir araştırma projesini bir düzine sohbet üzerinden yürütmek. Günler süren büyük bir analiz üzerinde çalışmak. Aynı görevde her yeni oturum başlattığınızda, bir öncekiyle ilgili hiçbir anısı olmayan yeni bir işçi işbaşı yapar - ve bir devir teslim notu bırakmadıysanız, tahmin ederek başlar.

O halde bir tane bırakın. Uzun bir oturum bitmeden önce, modelden ne yapıldığını, hala neyin açık olduğunu ve bir sonraki oturumun ilk olarak neyi alması gerektiğini yazmasını isteyin. Bu notu, girerken okuyacağı bir yerde tutun. Bu, her oturumda ilerleyen bir proje ile aynı şeyi tekrar tekrar yeniden inşa eden bir proje arasındaki farktır.

Bu gece ve yarın aynı model. Değişen tek şey, yarınki oturumun körü körüne mi gireceği yoksa dün geceki notu okuyarak mı gireceğidir.

Mesele, vardiyanın ne kadar akıllı olduğuyla ilgili değildi. Bir sonraki gelen için ne bıraktığıyla ilgiliydi.

Bunun gibi daha fazla detaylı analiz - https://t.me/+xYv1MgmIuds5YTli