İnsanların sürekli en iyi yazılımları çıkarmasının, harika içerikler yazmasının veya inanılmaz görseller üretmesinin bir sebebi var...
Onlar değerlendirme döngüsünü benimsedi, sen ise...
Daha iyi girdiler denedin, daha pahalı modele geçtin, daha uzun talimatlar yazdın, belleği açtın, roman boyutunda bağlam dosyaları oluşturdun ve yine de vasat sonuçlar gelmeye devam ediyor...
Gelmeye devam ediyor çünkü hiç bozuk olmayan katmanı düzeltmeye çalışıyorsun
Vasatlık bir girdi sorunu değil, bir sistem sorunudur; tıpkı hatalı ürünler gönderen bir fabrikanın işçi sorunu değil, kalite kontrol sorunu olması gibi. Kimse çıktıyı binayı terk etmeden önce kontrol etmiyor.
İşte bu yüzden bu yapıyı kuracağız. Bu yazının sonunda, açık kaynaklı ajan Hermes'in içinde çalışan, her çıktıyı standardına göre puanlayan, gönderimden sonra canlı çıktını izleyen ve her başarısızlığı yeni bir teste dönüştürerek kalite çıtasını otomatik olarak yükselten bir değerlendirme döngünüz olacak.
Bunu birlikte, adım adım inşa edeceğiz ve ödülü somut: Gece yarısı tekrar okumadan güvenebileceğin temiz çıktı, gerçekten bakabileceğin bir kalite numarası ve kitlen tarafından değil, kapıdan çıkarken yakalanan vasatlık.
İşte bu yazıdan kazanacakların:
- Daha iyi girdilerin, daha büyük modellerin ve belleğin neden vasatlığı asla tamamen ortadan kaldıramadığı ve bunu gerçekten yapan tek katman
- Vasatlığın işinde saklandığı iki yer: içerik çıktın ve ürün çıktın. Ve her ikisi için de çözümün neden aynı olduğu
- Bir değerlendirme döngüsünün sade Türkçe'de ne olduğu, çok az kişinin günlük olarak kullandığı kalite katmanı ve kimsenin sana neden bir tane kurmanı söylemediği
- Bu hafta içerik ve ürün için kurabileceğin bir kalite kriteri: Tam olarak neyi ölçeceğin ve "iyi"nin ekrandan okuyabileceğin bir sayı olarak neye benzediği
- Tüm bu döngüyü Hermes'in sana zaten verdiği parçalarla (beceriler, bellek, cron ve onay butonları) birleştirerek, kapının sensiz çalışmasını sağlayacak adım adım kesin yapı
Eğer buraya "yapay zeka vasatlığını düzelten 5 girdi" için geldiysen, bu yazı o değil. Onlar var ve işe yaramıyorlar. Bu, işe yarayan versiyon.
Tek Bir Şey Hariç Her Şeyi Denemiştin
Daha önce yaptıklarının kısa bir özeti:
Girdiyi yeniden yazdın, üç kere, dört kere. Örnekler ekledin, bir kişilik ekledin, kilometrelerce uzunlukta bir "yapma" listesi ekledin.
Sınır modeline yükselttin, token başına 5 kat daha fazla ödedin ve çıktı daha az genel olmadan daha özgüvenli hale geldi.
Belleği açtın, bir bağlam dosyası oluşturdun, marka sesini, geçmiş çalışmalarını, stil rehberini besledin.
Ve bu hamlelerin her biri sana birkaç iyi üretim kazandırdı, sonra vasatlık geri sızdı.
Bunların her biri bir girdi tarafı düzeltmesidir. Üretmesi gereken şeyi keskinleştirmeye devam ederken, yakalaması gereken şeyi görmezden geliyorsun. Karanlığa ateşlenen daha iyi bir silah yine de hiçbir şeyi vurmaz.
Vasatlık bir çıktı tarafı sorunudur. Modelin iyi iş üretememesi değil, önemli birine ulaşmadan önce iyi işi kötü işten ayırmanın bir yolunun olmamasıdır.
Bir değerlendirme döngüsü yok, kalite kriteri yok, skor tablosu yok. Bu yüzden körlemesine ayar yapıyorsun. Bir girdiyi değiştiriyorsun ve daha iyi olduğunu hissediyorsun, ancak hissetmek ölçüm değildir ve bir his, sonraki 50 üretimde gizlenen kötü çalışmayı yakalamaz.
Bu yüzden kendini, girdini, ajan kurulumunu veya bağlam mühendisliğini suçluyorsun. Oysa eksik olan parça, sana hiç gösterilmemiş, yapay zeka ile çalışmanın bütün bir katmanıdır. Ve bu yazının sonunda bu katman kendi bilgisayarında, Hermes'in içinde çalışıyor olacak.
Daha İyi Girdiler Bunu Neden Düzeltemez (Ve Herkes Neden Yine de Denemeye Devam Ediyor)
Bir girdi bir hipotezdir, çıktı sonuçtur ve bir değerlendirme, aralarındaki döngüyü kapatan tek şeydir.
Bu döngü olmadan sonsuza kadar tahmin edersin. Hipotezi değiştirirsin, bir sonuca göz atarsın, zafer ilan edersin ve aynı girdinin zamanın %30'unda çöp ürettiğini asla öğrenmezsin çünkü sadece önündeki tek çıktıya bakmışsındır.
Model deterministik değildir. Aynı girdiyi iki kez çalıştırmak sana iki farklı cevap verir. Bu, mükemmel bir girdinin bile bazı çalıştırmalarda vasatlık ürettiği ve bir müşteri veya kullanıcı ona bakana kadar hangi çalıştırmalar olduğunu bilmediğin anlamına gelir.
Yani mükemmel bir girdi bir kalite garantisi değil, biraz daha iyi bir yazı tura atışıdır ve sen her atışı gönderiyorsun.
Herkesin yine de girdilere yönelmesinin nedeni basit: Girdi, gerçekten görebildiğin tek koldur. Onu düzenleyebilirsin ve düzenlemek kontrol gibi hissettirir.
Ölçüm görünmezdir. Kimse sana bununla ilgili bir kurs satmaz. Kimse "çıktımı 10 katına çıkaran değerlendirme paketi" başlıklı viral bir paylaşım yapmaz. Bu yüzden tüm konuşma, sorunu kendi başına çözemeyen tek kolda takılıp kalır.
Yapay zeka çıktısı sürekli olarak temiz olan insanlar, girdi konusunda senden daha iyi değiller. Sadece senden farklı olarak ikinci bir kolları var: Her çıktıyı göndermeden önce bir standarda karşı ölçüyorlar ve ölçüm, onların girdilerini sihirli gibi gösteriyor.
Vasatlığın Yaşadığı İki Yer
Vasatlık tam olarak iki yerde saklanır ve neredeyse herkes bunlardan sadece birine bakar.
Yer 1, İçerik Çıktın
Tweetler, makaleler, e-postalar, açılış sayfaları, gönderiler... Yapay zeka ile ürettiğin ve kendi adınla yayınladığın her şey.
Buradaki vasatlık, teknik olarak iyi ve tamamen boş olan işe benzer. Zaman akışındaki diğer tüm yapay zeka hesapları gibi ses çıkarır: Dışarıdan doğru, içeriden boş.
Herkese açık bir şekilde ölür ve nedenini ifade edemezsin çünkü gönder tuşuna bastığında her bir parça iyi görünüyordu.
Yer 2, Ürün Çıktın
Gönderdiğin yapay zeka özelliği, ajan, sohbet robotu, destek yanıtlayıcısı, çıkarma hattı... Kullanıcılarının gerçekten dokunduğu şey.
Buradaki vasatlık, tam bir güvenle verilen yanlış bir cevaba benzer: Hayali bir sayı, bozuk bir JSON yükü, marka için uygun olmayan bir ton, demoda harika olan ve üç dağıtım sonra sessizce bozulan bir çıktı.
Herkese açık bir şekilde ölmez, sessizce ölçeklenir. Her kullanıcı biraz daha kötü bir deneyim yaşar ve çoğu sana asla söylemez, sadece giderler.
Bunlar aynı hastalığın aynı tedaviye sahip iki yüzüdür.
İçerik vasatlığı ve ürün vasatlığı, ikisi de arada bir kapı olmadan doğrudan kitleye giden ölçülmemiş yapay zeka çıktısıdır.
Tek fark risk ve görünürlüktür. İçerik vasatlığı seni yüksek sesle utandırır, ürün vasatlığı seni sessizce kanatır. Ve Hermes'te kuracağımız döngü, ikisini de aynı beceriyle derecelendirir, böylece ürettiğin her şey için iki yerine tek bir kalite sistemi çalıştırırsın.
Bir Değerlendirme Döngüsü Gerçekte Nedir?
Bir değerlendirme döngüsü, yapay zeka çıktını bir standarda karşı otomatik olarak, her seferinde, gönderimden önce ve sonra puanlayan tekrarlanabilir bir testtir.
İşte bu kadar, hepsi bu. Ve yapay zeka ile çalışan neredeyse hiç kimsede olmayan katmandır.
çıktıyı oluştur
tanımladığın bir kritere göre puanla
çizginin altında kalan çalıştırmaları yakala
başarısız olanı düzelt
yeniden puanla ve sadece geçen çıktıyı geçir
Yazılım mühendisleri bunu sonsuza dek yaptı, buna test denir. Test olmadan kod göndermez ve üretimde çalışacağını umut etmezdin. Ancak tüm endüstri şu anda yapay zeka çıktısını tam olarak böyle gönderiyor: Bir his ve bir dua ile modelden kullanıcıya.
Neredeyse hiç kimsede değerlendirme döngüsü olmamasının nedeni demografiktir. Bugün yapay zeka ile çalışan insanlar mühendislikten değil, içerik, satış, ürün, kuruculuktan geliyor. Bu yüzden "çıktın için testler yaz" hiçbir zaman araç setinde olmadı. Değerlendirmeler, "gerçek" mühendisler için altyapı olarak okunur ve onlara en çok ihtiyaç duyanlar, bir tane istemeye hakları olmadığını varsayar.
Bunu deterministik olmayan için birim testi olarak düşün. Kodun çalışıp çalışmadığını test etmiyorsun, çıktının iyi olup olmadığını test ediyorsun ve bunu, tek bir kötü çalıştırmanın saklanamayacağı kadar çok durumda test ediyorsun.
Bir değerlendirme döngüsü üç yerde çalışır ve önümüzdeki yapı onu her üçüne de koyar:
- Göndermeden önce, yeni girdini veya modelini kaydedilmiş bir dizi duruma karşı çalıştır ve kötüleşmediğini onayla. Buna regresyon testi denir. Bir şeyi düzeltirken sessizce üç başka şeyi bozan bir değişikliği durdurmanın yoludur.
- Çalışma zamanında, çıktı üretilirken puanla ve koşullu mantığın başarısızlıkları kullanıcıya ulaşmadan yakalamasına izin ver. Bu korkuluktur.
- Üretimde, gerçek yürütmelerin bir örneğini sürekli olarak puanla, böylece kalitenin düştüğü günü, bir müşterinin şikayet ettiği hafta değil, başladığı gün görebilirsin.
İlkini bir elektronik tabloda kurabilirsin, ancak üçünü de sürekli olarak ikinci bir işe dönüşmeden çalıştırmak, tüm bunları bir ajanın içine koymamızın tek sebebidir.
Kalitenin bir sayı haline geldiği an, vasatlık sürekli yaşadığın bir his olmaktan çıkar ve düzeltebileceğin bir hata haline gelir. Bir hissin hatalarını ayıklayamazsın, ancak 0.82'den 0.61'e düşen bir puanın hatalarını ayıklayabilirsin.
Kriter, Oluşturmak Üzere Olduğun Üç Parça
Bir kriterin üç parçası vardır ve ister içeriği ister bir ürünü derecelendiriyor ol, aynı üç parçadır:
test durumları, iyi çıktının neye benzediğiyle eşleştirilmiş gerçek girdiler (temel gerçeğin)
metrikler, bir çıktıyı nasıl puana dönüştürdüğün, ideal olarak 0 ile 1 arası
bir eşik, altında hiçbir şeyin gönderilmediği çizgi
Bu üçünü oluştur ve bir kalite kapın var. Herhangi birini atla ve bir dileğin var. Bu bölümün geri kalanı, her parçanın içine ne girdiğidir. Sonra üçünü de Hermes'e bağlayacağız.
İçerik için, test durumların altın standardındır
En iyi 20 ila 50 parçanı al: Patlayanlar, yer imlerine eklenen gönderiler, tüm adını koyacağın makaleler. "İyi"nin neye benzediği budur. Bir standart icat etmiyorsun, en iyi günlerinde zaten ulaştığın standardı çıkarıyorsun.
İçerik için, metrik bir derecelendirme anahtarıdır
Bir puan, ancak arkasındaki derecelendirme anahtarı kadar iyidir. Bu yüzden işi gerçekten iyi yapan şeyin ne olduğuna dair inancını kodla. İçerik için her parçayı dört kritere göre derecelendiriyorum:
- Belirli bir şeyin nasıl yapılacağını açıklıyor, bir his değil, okuyucunun yarın atabileceği bir eylem.
- İzleyiciden herhangi biri takip edebilir, jargon duvarı yok, içeriden bilgi yok.
- Yapılandırılmış, tekrarlanabilir, adım adım, sadece ilham verici değil.
- Yeni, okuyucunun bunu yapabileceğine dair hiçbir fikri yoktu.
Dördünün üzerinde oturan meta-kriter: Birisi bunu yer imlerine ekleyip daha sonra uygulamak için geri gelir mi? Cevap hayırsa, düzyazı ne kadar temiz okunursa okunsun vasatlıktır.
İşin püf noktası derecelendirme anahtarıdır. Belirsiz bir derecelendirme anahtarı ("bu iyi ve ilgi çekici mi") belirsiz bir puan üretir. Belirli bir derecelendirme anahtarı ("bu en az bir kopyala-yapıştır yapılabilir şablon veya oyun kitabı içeriyor mu") güvenebileceğin bir puan üretir. Yargıç, zevkini gerçekten yazarsan senin zevkini miras alır.
Ürün için, test durumların günlüklerinden gelir
Özelliğinin gördüğü gerçek girdileri al: Günlüklerinden, gerçek kullanıcı oturumlarından. Lansman gününde test ettiğin üç mutlu yol örneğini değil. Seni kıran durumlar tuhaf olanlardır ve tuhaf olanlar günlüklerinde yaşar.
Ürün için, metrik görevle eşleşir
Her girdi için, doğru bir çıktının neye benzediğini tanımla. Ardından metriği görevle eşleştir: Tek bir doğru etiket olduğunda tam eşleşme, yapının tutması gerektiğinde bir doğrulayıcı, çıktı açık uçlu olduğunda anlamsal benzerlik artı bir yargıç. Metrik sadece bir sayı döndürmelidir çünkü bir sayı, üzerine eşik koyabileceğin tek şeydir.
Her ikisi için de eşik, tuttuğun çizgidir
0.7 başlamak için makul bir yerdir. 0.7'nin altındaki her şey, gönderilmeden önce yeniden işlenir veya öldürülür, istisnasız. Eşik, yalnızca sevdiğin için asla 0.6'yı geçirmene izin vermezsen işe yarar. Bütün mesele, gece geç saatlerdeki egoyu karardan çıkarmaktır.
İşte kriter bu. Şimdi onu kendi kendine çalıştıralım.
Döngüyü Hermes'in İçinde Oluşturmak
Hermes, bir değerlendirmeler butonuyla gelmez. "Vasatlık korumasını aç" diye tıkladığın, kalite adında bir kontrol paneli yoktur.
Hermes'in sana bunun yerine verdiği şey daha iyidir: Bir kez birleştirdiğin ve sonra sahip olduğun ilkeller olarak bir değerlendirme döngüsünün ham parçaları.
Kendisi için yazdığı ve yeniden kullandığı beceriler, oturumlar arasında büyüyen kalıcı bellek, her platforma teslim eden yerleşik cron, Slack'te onay butonları ve çekirdeğe yerleşik bir kendini geliştirme alışkanlığı.
Hermes kendisine "seninle birlikte büyüyen ajan" der ve bu büyüme tam olarak inşa ettiğimiz döngüdür.
Öyleyse bağlayalım, altı hamle.
Hamle 1, Hermes'i sana ulaşabileceği bir yere kur
Kur ve Telegram'a bağla. Bu, göründüğünden daha önemlidir çünkü kapı yalnızca seni bölebilirse çalışır. Hermes, 20'den fazla kanalda çalışır ve Slack ile Telegram'a yerel onay butonları gönderir. Böylece ajan arka planda çalışabilir ve bir karar sana ait olduğunda omzuna dokunabilir.
Hamle 2, Altın standardını belleğe yükle
Hermes, oturumlar arasında büyüyen ve tam oturumlar arası geri çağırmaya sahip kalıcı bir belleğe sahiptir. Bu nedenle, kriterindeki en iyi 20 ila 50 parça oraya bir kez girer ve kalır. Bu, normalde ekran görüntülerine ve eski taslaklara dağılmış olan kısımdır. Burada, ajanın uzun süreli belleğidir, sorgulanabilir, puanlarının ölçüldüğü temel gerçektir.
Hamle 3, Derecelendirme anahtarını bir yargıç becerisine dönüştür
Bu, işin kalbidir. Hermes'e bir kez, sade Türkçe'yle, bir çıktıyı ve derecelendirme anahtarını alıp her kriter için tek satırlık bir gerekçeyle 0 ile 1 arasında bir puan döndüren bir beceri oluşturmasını söylersin. Bu, yapay zekayı yargıç olarak kullanmaktır: Bir ajanın senin yapay zekanı derecelendirmesi. Keskin bir derecelendirme anahtarına sahip bir model, senden daha tutarlı bir eleştirmendir çünkü parça üzerinde egosu ve gizlice gurur duyduğun o tek cümleye bağlılığı yoktur.
Bunun tek seferlik bir girdi değil de bir beceri olarak yaşamasının nedeni, Hermes becerilerinin prosedürel bellek olmasıdır. Ajan onları yazar, saklar ve yeniden kullanır. Zevkini tek bir seferde kodlarsın ve her çıktıyı sonsuza kadar derecelendirir. Beceriler birikir. Nous, 20'den fazla kendi kendine oluşturulmuş beceriye sahip ajanların benzer görevleri %40 daha hızlı tamamladığını buldu çünkü süreci yeniden keşfetmeyi bırakıyorlar. Yargıcın, ne kadar çok çalışırsa o kadar keskinleşir.
Hamle 4, Paketi bir elektronik tablo değil, bir beceri haline getir
Test durumların artı metrik fonksiyonların, Hermes'in tuttuğu ve sürümlediği bir beceri haline gelir. Metrik kütüphanesi, görevin gerektirdiği her şeydir: Sınıflandırma için tam eşleşme, çıkarma için regex, yapı için JSON ve anahtar-değer doğrulayıcıları, üretken çıktı için anlamsal benzerlik.
Açık uçlu şeyler için yargıç becerin. Hermes, puanlama kodunu kendisi yazar. Görevi tanımlarsın ve metrik oluşturur. Hepsi, kaybedeceğin bir sayfa yerine ajanın sahip olduğu tek bir yerde oturur.
Hamle 5, Gönderimi regresyon testi ve bir onay butonu ile kapıla
Bu, tüm sistemdeki en yüksek kaldıraçlı alışkanlıktır ve kimsenin elle yapmaya devam etmediği alışkanlıktır. Bu yüzden onu ajana teslim ederiz. Herhangi bir değişikliğin (yeni bir girdi, değiştirilmiş bir model, ayarlanmış bir hat) paketi tetiklemesi için bağlayın. Hermes her durumu yeniden çalıştırır, temel çizgiye karşı puan farkını hesaplar ve sessizce göndermek yerine Slack'te sana bir bildirim gönderir: "Puanlar 0.81'den 0.74'e düştü, iki durum geriledi, onaylıyor musun?" Ve yalnızca butona bastığında ilerler.
/goal ile bu işte kilitli tutabilirsin, bu da ajanı dönüşler arasında bir hedefe bağlı tutar. Daha büyük şeyler için, çoklu ajanlı kanban'ı çalıştırmayı ayrıştırabilir, paralel olarak puanlayabilir ve zamanlayabilir. Böylece kapı, çalıştırmayı hatırladığın bir şey değil, sürekli bir süreçtir.
Hamle 6, Üretimi bir cron ile izle ve döngüyü kapat
Hermes, her platforma teslim eden yerleşik bir cron'a sahiptir. Bu nedenle, gerçek yürütmeleri örnekleyen, aynı yargıç becerisiyle puanlayan ve çizgi düştüğü an sana DM gönderen bir iş zamanlarsın. Bozulmayı, bir müşterinin şikayet ettiği hafta yerine başladığı gün yakalarsın. "Değerlendirme puanı düştü" üzerinde harekete geçebileceğin bir sorundur, "bir müşteri sinirlenmiş görünüyordu" değildir.
Sonra tüm sistemi biriktiren kısım gelir: Slack'te başparmak aşağı ile kötü bir çıktıyı işaretlediğinde, Hermes onu paket becerisine yeni bir test durumu olarak geri yazar. Bu başarısız çalıştırma kalıcı bir kontrol haline gelir. Ve kendini geliştirme, Hermes'in ne olduğu, yan tarafa eklenmiş bir özellik olmadığı için, paket her hafta kendi kendine sertleşir. Sen uyurken çıta yükselir.
Bu çalışırken iyi olanın somut olarak neye benzediği: Derecelendirme anahtarında 0.7'nin altındaki bir içerik parçası asla gönderilmez. Herhangi bir metriği temel çizginin altına düşüren bir ürün değişikliği, onaylayana kadar dağıtımı engeller. Ve üretim puan çizgisi sabit kalır veya yükselir. Düştüğü gün, Hermes'in sana bildirim gönderdiği gündür, kaybın ortaya çıktığı hafta değil.
Kimsenin Duymak İstemediği Kısım
Yapay zeka çıktının tutarsız olmasının nedeni, girdi konusunda kötü olman değil. Ve modelin henüz yeterince akıllı olmaması da değil.
Kalite adımı olmayan bir üretim adımı çalıştırıyor olman. Bir sistemin yarısını inşa ettin ve çalışan yarısını suçluyorsun.
Çözüm daha iyi bir girdi değil, eksik bir katmandır. İyinin neye benzediğini tanımla, onu bir sayıya dönüştür, her çıktıyı ona karşı puanla, çizginin altında kalan her şeyi kapıla ve çıtanın her hafta yükselmesi için döngüyü kapat. Ve şimdi bu katman bir gün projesi değil, kendi bilgisayarında çalışan bir ajanın içinde altı hamledir.
Bunu yap ve vasatlık, sana rastgele olan bir şey olmaktan çıkar ve her seferinde kapıdan çıkarken yakaladığın bir şey haline gelir. Tıpkı gerçek bir fabrikanın bir kusuru müşteriye ulaşmadan yakalaması gibi.
Girdi hiçbir zaman sistem olmadı.
Değerlendirme döngüsü sistemdir. Hermes onun çalıştığı yerdir. Ve artık ona sahipsin.
