Döngü Mühendisliği ile Kendi Kendini Geliştiren AI Ajanları Nasıl Oluşturulur?

Çoğu AI ajanı, model zayıf olduğu için başarısız olmaz.

Modelin etrafındaki sistem zayıf olduğu için başarısız olurlar.

Bir komut istemi belirsizdir.

Bir araç çağrısı bozulur.

Ajan yanlış şeyi yeniden dener.

İki adım önce öğrendiğini unutur.

Aynı kötü eylemi tekrarlar.

Çok erken başarı ilan eder.

Ve hatayı yakalayacak geri bildirim döngüsünü kimse kurmamıştır.

Asıl sorun budur.

Zaman içinde gerçekten gelişen AI ajanları oluşturmak istiyorsanız, daha iyi komut istemlerinden, daha fazla araçtan veya daha fazla özerklikten daha fazlasına ihtiyacınız var.

Döngü mühendisliğine ihtiyacınız var.

Döngü mühendisliği, bir ajanın nasıl:

• ne olduğunu gözlemlediğini
• işe yarayıp yaramadığını değerlendirdiğini
• bir sonraki hamlesini güncellediğini
• yararlı geri bildirimleri depoladığını
• akıllıca yeniden denediğini veya üst seviyeye taşıdığını
• sadece daha meşgul olmak yerine daha iyi hale geldiğini

tasarlama disiplinidir.

Bu değişim önemlidir.

Çünkü bir sonraki nesil kullanışlı AI ajanları, tek bir demo çalıştırmasında ne kadar etkileyici göründükleriyle tanımlanmayacak.

Şunları yapıp yapamayacaklarıyla tanımlanacaklar:

• hatalardan kurtulmak
• tekrarlanan başarısızlıklardan ders almak
• her adımda insan bakıcı olmadan kaliteyi artırmak
• üretimde sınırlı, ölçülebilir ve güvenilir kalmak

Bu makale bununla ilgili.

Bunun gibi daha pratik AI sistemleri mi istiyorsunuz? ByteBuilders, Claude, AI iş akışları, komut istemleri, otomasyon ve gerçek dünya mühendislik sistemleri hakkında kısa, kullanışlı analizler paylaşıyor.

Buradan abone olun:

https://bytebuilders.beehiiv.com/subscribe

Döngü mühendisliğini anlarsanız, yalnızca her şey yolunda gittiğinde çalışan kırılgan ajanlar oluşturmayı bırakırsınız.

Gelişmek için tasarlandıkları için iyileşen sistemler oluşturmaya başlarsınız.

İlk olarak, "kendini geliştirmenin" gerçekte ne anlama geldiği

Birçok kişi "kendini geliştiren ajan" ifadesini duyduğunda, sihirli bir şekilde kendini yeniden eğiten veya özerk ve gizemli bir şeye dönüşen bir sistem hayal eder.

Bu, kullanışlı tanım değildir.

Kendini geliştiren bir ajan genellikle çok daha basittir.

Bir sonraki denemede daha iyi kararlar vermek için önceki denemelerden gelen sinyalleri kullanabilen bir ajandır.

Bu şu yollarla gerçekleşebilir:

• daha iyi bağlamla yeniden denemeler
• değerlendirmeye dayalı revizyon
• önceki başarısızlıkların hafızası
• araç kullanımı düzeltmeleri
• çıktı puanlaması
• insan geri bildirim döngüleri
• kural güncellemeleri
• depolanmış başarılı kalıplar

Başka bir deyişle:

kendini geliştirme genellikle model evrimi değildir. Bu döngü evrimidir.

Temel model aynı kalabilir.

Gelişen şey, sistemin model etrafındaki davranışıdır.

Bu çok daha pratik ve mühendislik dostu bir çerçevedir.

Çoğu ajan neden kendi kendine gelişmez?

Şaşırtıcı sayıda ajan aslında gelişmek için tasarlanmamıştır.

Devam etmek için tasarlanmışlardır.

Bu aynı şey değildir.

Günümüzdeki birçok ajan sistemi temelde şöyledir:

1. görevi oku
2. düşün
3. aracı çağır
4. durdurulana kadar devam et

Sorun şu ki, bu yapı genellikle şunlardan yoksundur:

• açık başarı kriterleri
• başarısızlık sınıflandırması
• durum bilincine sahip yeniden denemeler
• zaten başarısız olanın hafızası
• denemeler arasında karşılaştırma
• çıktı değerlendirmesi
• yükseltme kuralları

Bu nedenle ajan gelişmez.

Sadece döngü yapar.

Ham yineleme ile akıllı yineleme arasındaki fark budur.

Döngü mühendisliği bu farkı yaratan şeydir.

Döngü mühendisliği gerçek mimari katmandır

Döngü mühendisliğini anlamanın en kolay yolu şudur:

Komut istemi, modele ne yapması gerektiğini söyler.

Döngü mühendisliği, sisteme denedikten sonra nasıl davranacağını söyler.

Bu, aşağıdaki gibi soruları içerir:

• Başarısız bir araç çağrısından sonra ajan ne yapmalıdır?
• Ne zaman yeniden denemeli ve ne zaman strateji değiştirmelidir?
• Kaç denemeye izin verilir?
• Hafızada ne saklanmalıdır?
• Otomatik olarak ne değerlendirilmelidir?
• Bir insan ne zaman devralmalıdır?
• Gelişme olarak kabul edilen nedir?

Bu nedenle döngü mühendisliği, yalnızca komut istemi konuşmasına değil, mimari konuşmasına aittir.

Kendini geliştiren ajanların arkasındaki temel döngü

En kullanışlı kendini geliştiren ajanların çoğu, şuna benzeyen tekrarlanan bir yapıyı takip eder:

1Hedef
2  ↓
3Plan
4  ↓
5Hareket Et
6  ↓
7Sonucu Gözlemle
8  ↓
9Kaliteyi Değerlendir
10  ↓
11Sinyali Depola
12  ↓
13Yeniden dene / revize et / yükselt / sonlandır

Bu temeldir.

Sistem, döngüden her geçiş bir sonraki kararı faydalı bir şekilde değiştirdiğinde gelişir.

Her ajanın karmaşık bir versiyona ihtiyacı yoktur.

Ancak her güvenilir ajanın bunun bir versiyonuna ihtiyacı vardır.

Saf bir ajan ile döngü mühendisliği yapılmış bir ajan arasındaki fark

Boyut

Saf Ajan

Döngü Mühendisliği Yapılmış Ajan

Görev yönetimi

görevi bir kez dener veya körü körüne devam eder

sınırlı döngülerle çalışır

Hata yanıtı

rastgele yeniden dener veya sert bir şekilde başarısız olur

sınıflandırılmış hataya göre yeniden dener

Hafıza

çok az veya hiç kullanışlı durum yok

eyleme dönüştürülebilir bağlamı depolar

Değerlendirme

tamamlamanın başarı anlamına geldiğini varsayar

çıktıları kriterlere göre kontrol eder

Gelişme

tesadüfi

tasarlanmış

İnsan rolü

yalnızca acil durum yedeği

kasıtlı yükseltme noktası

Güvenilirlik

tutarsız

zamanla giderek güçlenir

Değişim budur.

Döngü mühendisliği yapılmış ajan, model düzeyinde mutlaka "daha akıllı" değildir.

Sadece daha iyi bir sistemin içinde çalışmaktadır.

Kendini geliştiren ajanların beş yapı taşı

Bir ajanın gelişmesini istiyorsanız, yapıya sahip bir döngüye ihtiyacınız var.

Bu beş yapı taşı en önemlisidir.

1. Net başarı kriterleri

Sistem "iyi"nin neye benzediğini bilmiyorsa, ona doğru gelişemez.

Başarı kriterleri şunlar olabilir:

• tam çıktı formatı
• doğruluk eşiği
• temellendirilmiş cevap gereksinimi
• araç tamamlama sinyali
• geçen test sonucu
• insan onayı
• göreve özgü puan

Bu olmadan, ajanın optimize edecek istikrarlı bir şeyi yoktur.

1. Değerlendirme katmanı

Değerlendirme katmanı, ajana denemesinin işe yarayıp yaramadığını söyleyen şeydir.

Bu şunlar olabilir:

• kural tabanlı kontroller
• şema doğrulama
• birim testleri
• LLM yargıç puanlaması
• alma temellendirme kontrolleri
• iş mantığı doğrulaması
• insan incelemesi

"Bir cevap üretti" ile "kullanışlı bir cevap üretti" arasındaki fark budur.

1. Geri bildirim hafızası

Kendini geliştirme hafıza gerektirir, ancak yalnızca ham geçmiş değil.

Ajanın kullanılabilir hafızaya ihtiyacı vardır.

İyi bir geri bildirim hafızası şunları içerir:

• son başarısızlık nedeni
• önceki araç hatası
• bilinen en iyi başarılı yol
• kaçınılması gereken bilinen kötü strateji
• kullanıcı tercihi veya düzeltmesi
• önceki denemelerin sıkıştırılmış özeti

Tüm bağlam kalıcı olmamalıdır.

Yalnızca bir sonraki karara yardımcı olan bağlam kalıcı olmalıdır.

1. Strateji revizyonu

Değerlendirmeden sonra ajan neyin değişeceğine karar vermelidir.

Bu şunları içerebilir:

• yeni bir araç denemek
• görevi daraltmak
• açıklayıcı bir soru sormak
• daha fazla bilgi almak
• eylemden açıklamaya geçmek
• bir insana yükseltmek

Sistemin gerçekten uyarlanabilir hale geldiği yer burasıdır.

1. Sınırlar ve durdurma koşulları

Kendini geliştiren bir ajanın yine de kontrole ihtiyacı vardır.

Aksi takdirde gelişme elde edemezsiniz.

Kaos elde edersiniz.

Şunlar için sınırlar belirleyin:

• yeniden denemeler
• maliyet
• gecikme
• yıkıcı eylemler
• insan onay eşikleri
• görevi terk etme kuralları

Sınırlı bir döngü, sınırsız olandan daha değerlidir.

Döngü mühendisliği pratikte neye benzer?

İşte birçok ajan için iyi çalışan basit bir kalıp.

Döngü 1: deneme

Ajan, mevcut bağlamla görevi dener.

Döngü 2: değerlendir

Bir kontrol çalışır.

Örnekler:

• şema doğrulandı mı?
• kod testleri geçti mi?
• cevap gerekli kaynağa atıfta bulundu mu?
• araç doğru alanları döndürdü mü?

Döngü 3: teşhis et

Başarısız olduysa, nedenini sınıflandırın.

Örnekler:

• eksik bağlam
• kötü araç argümanları
• alma hatası
• halüsinasyon varsayımı
• eksik çıktı
• politika çakışması

Döngü 4: uyarla

Bir sonraki denemeyi değiştirin.

Örnekler:

• daha fazla bağlam al
• görevi daha dar bir şekilde yeniden yaz
• farklı bir araç dene
• doğrulama kuralları ekle
• eksik ayrıntı için kullanıcıya sor

Döngü 5: kullanışlı sinyali depola

Yalnızca gelecekteki çalıştırmalara yardımcı olanı kaydedin.

Sonra tekrarlayın.

Operasyonel terimlerle döngü mühendisliği budur.

Döngü mühendisliği yapılmış ajanlar için pratik bir diyagram

1Kullanıcı Hedefi
2   ↓
3Görev Yorumlayıcı
4   ↓
5Planlayıcı
6   ↓
7Araç / Eylem Katmanı
8   ↓
9Sonuç
10   ↓
11Değerlendirici
12   ├── geçti → sonlandır
13   ├── başarısız: eksik bağlam → daha fazla al
14   ├── başarısız: kötü araç kullanımı → eylemi revize et
15   ├── başarısız: düşük güven → yükselt
16   └── başarısız: kurtarılabilir → hafıza ile yeniden dene

Ajan kalitesinin tesadüfi olmak yerine sistematik hale geldiği yer burasıdır.

Kendini geliştirme sinyalleri nereden gelmelidir?

Bu en önemli tasarım sorularından biridir.

Döngüye yanlış sinyaller beslerseniz, ajan yanlış yönde optimize olabilir.

Güçlü gelişme sinyali kaynakları şunları içerir:

Belirleyici sinyaller

• testler geçer veya kalır
• şema doğrular veya başarısız olur
• API durumu başarılı veya hatalıdır
• çıktı gerekli alanları içerir veya içermez
• politika kuralı karşılanır veya ihlal edilir

İş akışı sinyalleri

• yeniden deneme sayısı
• araç gecikmesi
• başarısızlığın meydana geldiği adım
• aşılan güven eşiği
• yükseltme sıklığı

İnsan sinyalleri

• beğen / beğenme
• düzeltilmiş çıktı
• kabul edilen ve reddedilen taslak
• manuel geçersiz kılma kalıpları
• inceleyen notları

Karşılaştırmalı sinyaller

• A sürümüne karşı B sürümü çıktı kalitesi
• alma varyantı karşılaştırması
• araç yolu karşılaştırması
• tekrarlanan çalıştırmalarda puan iyileştirmesi

En iyi kendini geliştiren ajanlar genellikle bu kategorilerden en az ikisini birleştirir.

En iyi döngüler yalnızca yanıtı değil, iş akışını da iyileştirir

Tasarımın daha olgun hale geldiği yer burasıdır.

Zayıf bir uygulama, yalnızca metni yeniden oluşturmak için döngüler kullanır.

Daha güçlü bir uygulama, tüm iş akışını iyileştirmek için döngüler kullanır.

Bu, ajanın aşağıdakileri değiştirerek gelişebileceği anlamına gelir:

• ne aldığı
• hangi araçları kullandığı
• adımların sırası
• ne hatırladığı
• neyi görmezden geldiği
• daha erken açıklama isteyip istemediği
• daha erken durup durmadığı

Bu, "cevabı tekrar yaz"dan çok daha güçlüdür.

Sistem, süreç düzeyinde kendi kendini düzelten hale gelir.

Kendini geliştirmeyi destekleyen komut istemi kalıpları

Komut istemi yine de önemlidir.

Sadece döngüyü desteklemesi gerekir.

İşte kullanışlı komut istemi kalıpları.

Komut istemi 1: değerlendirme bilincine sahip eylem komut istemi

1Sınırlı bir iş akışı içinde bir görevi yürütüyorsunuz.
2Amacınız yalnızca bir cevap üretmek değil, değerlendirmeyi geçecek bir cevap üretmektir.
3Bilgi eksikse, isteyin veya alın.
4Sonuç belirsizse, güvenle sonlandırmayın.
5Önceki bir deneme başarısız olduysa, bağlam değişmediği sürece aynı stratejiyi tekrarlamaktan kaçının.

Komut istemi 2: başarısızlık teşhis komut istemi

1Önceki deneme başarısız oldu.
2Olası başarısızlık nedenini şu kategorilerden birine sınıflandırın:
3- eksik bağlam
4- araç yanlış kullanımı
5- kötü varsayım
6- eksik çıktı
7- biçimlendirme veya şema hatası
8- politika çakışması
9Ardından, başarı olasılığını artıran en küçük sonraki değişikliği önerin.

Komut istemi 3: revizyon komut istemi

1Aşağıdaki değerlendirici geri bildirimini kullanarak bir sonraki denemeyi revize edin.
2Zaten başarısız olduysa aynı akıl yürütme yolunu tekrarlamayın.
3Daha dar, daha temellendirilmiş bir çözümü tercih edin.
4Gerekirse, cevap vermeden önce daha fazla bağlam alın.

Komut istemi 4: hafıza özeti komut istemi

1Son denemeyi bir sonraki çalıştırma için kısa bir hafıza bloğuna özetleyin.
2Yalnızca şunları ekleyin:
3- ne başarısız oldu
4- ne işe yaradı
5- nelerden kaçınılmalı
6- sırada ne denenmeli
7120 kelimenin altında tutun.

Bunlar sihirli komut istemleri değildir.

Döngü davranışını güçlendirmek için tasarlanmış komut istemleridir.

Basit bir Python tarzı döngü mimarisi

Aşağıda, döngü mühendisliğinin kodda nasıl görünebileceğine dair basitleştirilmiş bir örnek verilmiştir:

1MAX_ATTEMPTS = 4
2
3memory = []
4
5for attempt in range(MAX_ATTEMPTS):
6    context = build_context(task=task, memory=memory)
7    plan = agent.plan(context)
8    result = agent.act(plan)
9
10    evaluation = evaluator.check(task=task, result=result)
11
12    if evaluation.passed:
13        return {
14            "status": "success",
15            "result": result,
16            "attempt": attempt + 1,
17        }
18
19    failure_summary = agent.summarize_failure(
20        result=result,
21        evaluation=evaluation,
22    )
23
24    memory.append({
25        "attempt": attempt + 1,
26        "failure": failure_summary,
27        "suggested_fix": evaluation.next_step,
28    })
29
30    if evaluation.requires_human:
31        return {
32            "status": "escalated",
33            "reason": evaluation.reason,
34            "attempt": attempt + 1,
35            "memory": memory,
36        }
37
38return {
39    "status": "failed",
40    "reason": "max_attempts_reached",
41    "memory": memory,
42}

Bu kasıtlı olarak basittir.

Önemli olan kodun kendisi değildir.

Yapıdır:

• dene
• değerlendir
• sinyali depola
• uyarla
• yeniden dene veya yükselt

İçselleştirilmesi gereken kalıp budur.

Döngü mühendisliğinin en önemli olduğu yerler

Bu yaklaşım, özellikle ilk geçişte başarının garanti olmadığı iş akışlarında değerlidir.

Kodlama ajanları

Döngüler için mükemmeldir çünkü sistem şunları yapabilir:

• testleri çalıştır
• başarısızlıkları incele
• kodu revize et
• çıktıları karşılaştır
• yalnızca doğrulama geçtiğinde dur

Destek ajanları

Kullanışlıdır çünkü sistem şunları yapabilir:

• politika bağlamını al
• bir yanıt taslağı hazırla
• temellendirmeyi kontrol et
• risk yüksekse onay iste

Araştırma ajanları

Yardımcıdır çünkü sistem şunları yapabilir:

• birden çok kaynak topla
• boşlukları belirle
• tekrar ara
• yalnızca kanıt yeterli olduğunda sentezle

Belge çıkarma ajanları

Kullanışlıdır çünkü sistem şunları yapabilir:

• dosyaları ayrıştır
• şemayı doğrula
• belirsiz alanları yeniden dene
• düşük güven durumlarını yükselt

Operasyonel iş akışı ajanları

Değerlidir çünkü sistem şunları yapabilir:

• API'leri çağır
• sonuçları kontrol et
• kısmi başarısızlıktan kurtul
• istisnaları insanlara yönlendir

Tüm bu durumlarda, döngü kalitesi, tek seferlik üretim kalitesinden daha önemlidir.

Döngü mühendisliğinde yaygın hatalar

Hata 1: yeniden denemeleri gelişme olarak ele almak

Daha fazla deneme otomatik olarak daha iyi öğrenme anlamına gelmez.

Sistem aynı davranışı tekrarlıyorsa, gelişmiyordur.

Sadece döngü yapıyordur.

Hata 2: çok fazla hafıza depolamak

Geçmişteki tüm bağlam yardımcı olmaz.

Çok fazla hafıza bir sonraki denemeyi kirletebilir.

Ham transkript yığınlarını değil, sıkıştırılmış, eyleme dönüştürülebilir dersleri depolayın.

Hata 3: değerlendirmeyi atlamak

Bir kontrol olmadan, ajan daha iyi olup olmadığını bilemez.

Bu en yaygın yapısal hatadır.

Hata 4: durdurma koşulu olmaması

Sınırsız bir ajan gelişmiş değildir.

Pahalıdır.

Hata 5: insan geri bildirimini görmezden gelmek

İnsanlar aynı şeyi düzeltmeye devam ediyorsa ve döngü bu sinyali asla kullanmıyorsa, sistem gerçekten gelişmiyordur.

Hata 6: her görev için tek bir dev döngü kullanmak

Farklı görevlerin farklı döngülere ihtiyacı vardır.

Bir destek ajanı ve bir kodlama ajanı aynı yeniden deneme mantığını veya değerlendirme kurallarını paylaşmamalıdır.

Önerdiğim pratik oluşturma sırası

Sıfırdan oluşturuyorsanız, bu sırayı kullanın.

Adım 1: başarıyı net bir şekilde tanımlayın

İyi bir sonuç neye benzer?

Adım 2: başarısızlık kategorilerini tanımlayın

Bu ajan genellikle neden başarısız olur?

Adım 3: önce değerlendiriciyi oluşturun

Sistem başarılı mı yoksa başarısız mı olduğunu nasıl bilecek?

Adım 4: hafıza kurallarını tasarlayın

Denemeler arasında ne kalıcı olmalıdır?

Adım 5: yeniden deneme stratejisini tanımlayın

Birinci deneme ile ikinci deneme arasında ne değişir?

Adım 6: yükseltme mantığını ekleyin

Bir insan ne zaman devreye girmelidir?

Adım 7: önemli olan her şeyi günlüğe kaydedin

Gözlemlemediğiniz şeyi geliştiremezsiniz.

Adım 8: yalnızca döngü çalıştıktan sonra optimize edin

Temel döngü istikrarlı olmadan sistemi aşırı karmaşık hale getirmeyin.

Bu sıra, ekiplerin abartı yerine davranışa odaklanmasını sağlar.

Bir ajana "kendini geliştiren" demeden önce basit bir kontrol listesi

Bunu bir gerçeklik kontrolü olarak kullanın.

• Ajan başarının neye benzediğini biliyor mu?
• Her denemeyi değerlendiriyor mu?
• Başarısızlıktan kullanışlı dersler depoluyor mu?
• Geri bildirime dayalı olarak stratejiyi değiştiriyor mu?
• Aynı başarısız yolu körü körüne tekrarlamaktan kaçınıyor mu?
• Ne zaman duracağını biliyor mu?
• Ne zaman bir insana yükselteceğini biliyor mu?
• Gerçekten daha iyi hale gelip gelmediğini ölçebiliyor musunuz?

Bunların çoğu eksikse, sistem muhtemelen kendini geliştirmiyordur.

Sadece yinelemelidir.

Son düşünceler

AI ajanlarının geleceği yalnızca daha iyi komut istemleri, daha fazla araç veya daha uzun zincirler değildir.

Daha iyi döngülerdir.

Döngü mühendisliğinin mümkün kıldığı şey budur.

Bir ajantı tek seferlik bir üreteçten şunları yapabilen bir sisteme dönüştürür:

• gözlemlemek
• değerlendirmek
• uyarlamak
• hatırlamak
• akıllıca yeniden denemek
• gerçek koşullar altında gelişmek

Üretim AI'sında kendini geliştirme gerçekte böyle görünür.

Gizem değil.

Sihir değil.

Sadece daha iyi sistem tasarımı.

Daha güçlü ajanlar istiyorsanız, yalnızca nasıl hareket edeceklerini sormayın.

Sonra ne olduğundan nasıl öğreneceklerini sorun.

Gerçek kaldıraç oradadır.