Son birkaç ayda yüzlerce yöneticiyle konuştuk ve net bir nakarat duyuyoruz: "Yapay zeka henüz yatırım getirisi sağlamıyor, ama tamamen içindeyiz, bu yüzden bunu çözmemiz gerekiyor."
Yöneticiler geri dönüş olmadığını biliyor. Ancak çoğu büyük şirkette yapay zeka programları, tutarsız çıktı kalitesi, gerçek işler için gereken güven seviyesine ulaşamama, güvenlik riskleriyle ilgili belirsizlikler ve token maliyetlerindeki artışlar nedeniyle pilot aşamada takılıp kalıyor. Başka bir deyişle: kaç iş lideri, yapay zeka programlarının ne kadar doğru olduğunu gerçekten ölçebiliyor?
Herkes aynı gerçeğe varıyor: Gerçekten iş yapabilecek, üretim kalitesinde ajanlar istiyorsanız, her şey değerlendirmelerle (evals) başlar.
Satya, değerlendirmeleri stratejik fikri mülkiyet olarak gören en son lider. Bu konuyu etkili ve güçlü bir şekilde savunuyor: "Şirketlerin, iş akışlarını, alan bilgilerini ve birikmiş yargılarını, her kullanımda gelişen yapay zeka sistemlerine dönüştürmeleri gerekiyor. Özel değerlendirmeler, bir modelin iş için önemli olan sonuçlara (sadece harici kıyaslamalara değil!) karşı gerçekten iyileşip iyileşmediğini yakalamalıdır." (https://x.com/satyanadella/status/2066182223213293753).
Peki değerlendirmeler (evals) nedir? "Evaluations" (değerlendirmeler) kelimesinin kısaltması olan bu kavram, bir yapay zeka sistemini sistematik olarak ölçmek ve iyileştirmek için kapsamlı ve titiz bir çerçevedir. Burada bahsettiğimiz, basit bir beğen/beğenme ya da ajan çıktılarının insan tarafından incelenmesi değil. Güçlü bir değerlendirme paketi; yargı, ton ve zevkin nüanslarını yakalar; ajanların araç kullanımını değerlendirir; görevleri belirli, puanlanabilir boyutlara (bir "derecelendirme ölçeği") ayırır ve tipik olarak, ajanların tekrar tekrar çalıştırılıp performanslarını zamanla iyileştirmek üzere eğitilebildiği bir simülasyon veya pekiştirmeli öğrenme ortamında kullanılır.
En iyi şirketler, ajan değerlendirmelerini temel bir kalite, güvenilirlik ve yönetişim katmanı olarak ele alır; bu, çoğu ekibin bugün güvendiği gelişigüzel testlerden veya lansman öncesi kontrollerden çok daha ileridir.
Son 2 yılda Handshake'ı bir yapay zeka şirketi olarak 'yeniden kurduk'. Bugün, hem öncü yapay zeka laboratuvarlarına hem de Fortune 500 şirketlerine değerlendirme (evals) hizmeti sunan lider bir sağlayıcıyız. Handshake AI araştırma ekibimiz, doğrulayıcılar (verifiers) üzerine yeni araştırmalara öncülük ediyor ve dünyanın en büyük işletmelerindeki vizyoner liderlerle yapay zeka stratejilerini şekillendirmek için çalışıyoruz. Birkaç tema netleşmeye başlıyor.
Değerlendirmeler (evals), yapay zekadan iş etkisi yaratmaya yönelik kapsamlı bir yaklaşımın temel taşı olmalıdır. İşte görmekte olduğumuz ve gelecek yazılarımda detaylandıracağım beş temel sütun:
1. Her şey değerlendirmelerle (evals) başlar. Yapay zeka performansı, onu ölçmek için kullanılan değerlendirme paketi tarafından tamamen tanımlanır: performansı ancak "iyi"nin neye benzediğini doğru bir şekilde tanımladığınız ölçüde takip edebilirsiniz. Önde gelen kuruluşlar artık, yapay zekayı gerçek dünyada devreye almadan önce kontrollü bir ortamda iyileştirmek için değerlendirmeleri bir simülasyonun içine inşa ediyor. Alan uzmanları, geçmiş verileri seçiyor ve modeli zorlamak için kasıtlı uç durumlar (bozuk metin, çelişkili talimatlar) ekliyor. Simülasyon daha sonra her güncellemeyi, tam eşleşen dize ayrıştırma, kod düzeyinde iddialar veya yapay zeka yargıcı kriterleri gibi nesnel derecelendirme ölçeklerine göre puanlayarak yapay zeka geliştirmeyi bir tahmin oyunundan öngörülebilir bir mühendislik disiplinine dönüştürüyor.
2. Her işlevin farklı bir yapay zeka stratejisine ihtiyacı vardır. Karmaşık bir işletme, bölümlere ayrılmış bir yaklaşım gerektirir: iş birimine göre nerede geliştirileceği, nereden satın alınacağı, optimize edileceği veya eğitileceği. Orta ölçekli bir sigorta şirketi muhtemelen hazır bir kodlama ajanı satın almalı ve öncü modellerin token'ları için ödeme yapmalı, aynı zamanda kendine özgü sigortalama kararlarını egemen bir fikri mülkiyet varlığı olarak kodlayan özel ajanlar geliştirmelidir. Müşteri hizmetlerinde, RAG için optimize edilmiş dikey çözümler genellikle daha mantıklıdır, ancak bunlar yine de gerçek kurulum, bakım ve sürekli değerlendirme gerektirir. Ajanlar dünyasında, performans yönetimi değerlendirmelerdir (evals).
3. Güvenlik ve emniyeti göz ardı etmeyin. Birçok lider, SaaS döneminde bulut altyapısını ve uygulamalarını güvence altına aldıkları için siber risklerinin yönetildiğini varsayar. Ajan yapay zeka dönemi yeni güvenlik açıkları getiriyor: standart güvenlik duvarları, prompt enjeksiyon saldırılarını durduramaz veya özel verilerin halka açık eğitim döngülerine sızmasını engelleyemez. Orta ölçekli bir işletmeyi güvence altına almak, sorgular ağdan çıkmadan önce tanımlayıcıları temizlemek için veri temizleme hatları ve modellerinize ulaşmadan önce kötü niyetli prompt'ları etkisiz hale getirmek için girdi doğrulama katmanları dağıtmak anlamına gelir.
4. Optimize edilmiş model yönlendirmesi, yeni maaş bandı uygulamasıdır. Veri girişi için yönetici maaşı ödemezsiniz, ancak çoğu işletme basit görevleri pahalı öncü modellere yönlendirir. Model maliyetini görev karmaşıklığıyla eşleştiren bir yönlendirme katmanı esastır, ancak bu yalnızca daha ucuz bir modelin gerçekten teslim edip edemeyeceğini bilmek için değerlendirmeleriniz (evals) varsa işe yarar. Şirketlerin maliyet için aşırı optimize ettiğini ve bunun kaliteye mal olduğunu gördük. LLM'lerde ne kadar öderseniz onu alırsınız; disiplin, token'ları görevin gerçekten karmaşık olduğu yerde harcamaktır.
5. İnce ayar (fine-tuning), kurumsal oyun kitabına geri döndü. Anlamlı bir ölçekte, en uygun maliyetli strateji genellikle yalnızca ajan yinelemesi veya yönlendirme değil, daha küçük açık ağırlıklı modelleri belirli görevlere göre uyarlamaktır. İnce ayar, bir modele yeni bilgiler öğretmemelidir (bunun için RAG vardır), ancak iş akışlarını, iletişim tarzını ve araç çağrılarını standartlaştırabilir. Gerçek değer, ortaya çıkan modele herhangi bir yazılım varlığı gibi davranmaktan gelir: kaymayı yakalamak için regresyon testi ve geri bildirim döngüleri. Disiplin ve veri kalitesi, bilgi işlem bütçesinden daha önemlidir.
Değerlendirme-ilk (eval-first) zihniyetine bu geçiş sadece teknik bir tesisat işi değil. Bu, yapay zeka için başarıyı tanımlama şeklimizde bir değişimdir: "Bakalım ne yapacak"tan "Ne yapması gerektiğini hassas bir şekilde ölçelim ve yapana kadar iyileştirelim"e geçmek. Bunu şimdi çözen kuruluşlar, yapay zekayı bir maliyet merkezinden dayanıklı, bileşik getiri sağlayan bir varlığa dönüştürecek.
Öncü modelleri iyileştirme çalışmalarımız bize bu disiplinde ön sıralarda yer alma fırsatı verdi. Kurumsal ortaklarımızla ortak hedefimiz, "laboratuvarda çalışıyor" ile "somut değer için gerçek iş yapıyor" arasındaki boşluğu kapatmaktır.
Bu geçişi yapıyorsanız veya yapay zeka programlarınızı pilot aşamanın ötesine taşımaya çalışıyorsanız, bu zorluğu nasıl çerçevelediğinizi duymayı çok isterim. Bu, 2026'da çözdüğümüz en önemli sorun.
