Yapay Zeka Ajanlarının Harekete Geçmeden Önce Neden Yönetişime İhtiyacı Var?

AI ajanları soruları yanıtlamaktan eylemleri gerçekleştirmeye geçiyor.

Bu tek değişim, tüm risk modelini değiştiriyor.

Sohbet robotları metin üretir. Ajanlar sistemleri çalıştırır.

E-postaları okuyabilir, API'leri çağırabilir, müşteri kayıtlarını güncelleyebilir, kod dağıtabilir, talep oluşturabilir, iş akışı adımlarını onaylayabilir, diğer ajanlarla koordinasyon sağlayabilir ve yeni bilgileri uzun süreli belleğe depolayabilirler.

Bu, temel sorunun artık şu olmadığı anlamına geliyor:

Bu cevap doğru mu?

Yeni soru şu:

Bu ajanın şu anda harekete geçmesine izin verilmeli mi?

Bir yönetişim katmanının var olma nedeni işte bu soruyu yanıtlamaktır.

1. Bellek yararlıdır. Ancak yönetişim değildir.

Bellek, ajanların oturumlar arasında bağlamı korumasına yardımcı olur.

Kullanıcı tercihlerini, geçmiş çalışmaları, araç çıktılarını ve önceki kararları hatırlamalarına yardımcı olur. Bu önemlidir. Ancak bellek şunlara karar vermez:

• hangi bilgilerin belleğe girmesine izin verileceği
• hangi anıların bayat veya zehirli olduğu
• hangi eylemlerin onay gerektirdiği
• hangi iş akışı adımının sırada gelmesi gerektiği
• yürütmeden önce hangi kanıtın gerekli olduğu
• hangi ajanın hangi bilgiyi kullanmasına izin verildiği

Üretim ajan sistemlerinde, daha zor olan sorun genellikle erişim değildir. Yetkidir.

Bellek, bir ajanın hatırlamasına yardımcı olur.

Yönetişim, ne yapmasına izin verildiğini seçmesine yardımcı olur.

İşte Marrow bu ayrımda yer alır.

Marrow yalnızca bir bellek katmanı değildir. AI ajan filoları için bir yargı katmanıdır.

2. Gözlemlenebilirlik geçmişi açıklar. Ajanların gelecekten önce kontrole ihtiyacı vardır.

Gözlemlenebilirlik gereklidir. Ekiplerin izlere, günlüklere, değerlendirmelere, açıklamalara, uyarılara ve panolara ihtiyacı vardır.

Ancak olay sonrası görünürlük, kötü bir eylemi gerçekleşmeden durdurmaz.

Bir ajan güvenli olmayan kod dağıtırsa, hassas bir e-posta gönderirse, yanlış ödemeyi onaylarsa veya gerekli bir iş akışı adımını atlarsa, pano olayı daha sonra açıklayabilir. Ancak mutlaka engellemez.

Yüksek etkili iş akışları için sinyalin ajana eylemden önce ulaşması gerekir:

• risk seviyesi
• gerekli kanıt
• politika kısıtlamaları
• sahip onayı
• geri alma planı
• sonraki tam adım
• izin ver, uyar, incele veya engelle

Bu, gözlemlenebilirlik ve yönetişim arasındaki boşluktur.

Panolar insanları bilgilendirir.

Yönetişim, ajanları harekete geçmeden önce bilgilendirir.

3. Değerlendirme bir anlık görüntüdür. Üretim bir akıştır.

Dağıtım öncesi değerlendirme birçok hatayı yakalar. Ancak üretim ajanları değişen ortamlarda yaşar.

İstemler değişir. Araçlar değişir. API'ler değişir. Veriler değişir. Politikalar değişir. Filodaki diğer ajanlar değişir.

Bir kıyaslama, bir ajanın belirli bir dizi koşul altında iyi performans gösterdiğini söyleyebilir. Üretim ise farklı bir soru sorar:

Bu ajan, ortam değiştikçe doğru kararı vermeye devam edecek mi?

Araç kullanan ajanlar üzerine yapılan araştırmalar da aynı yöne işaret ediyor.

ToolEmu, yüksek riskli araçlar kullanan dil modeli ajanlarını inceliyor ve ajan başarısızlıklarının ciddi gerçek dünya sonuçları yaratabileceğini gösteriyor. AgentHarm ve CUAHarm, ajanların araçları kullanabildiğinde veya bilgisayarları çalıştırabildiğinde zararlı davranışlara odaklanıyor. Diğer araştırmalar, ajanların riski soyut olarak anlayabildiğini ancak somut yörüngelerde riskli eylemlerden kaçınmakta başarısız olabildiğini gösteriyor.

Ders pratiktir:

Güvenlik yalnızca modelde veya yalnızca bir kıyaslamada yaşayamaz.

Üretim ajanlarının çalışma zamanı kontrolüne ihtiyacı vardır.

4. Yönetişim, AI altyapısı haline geliyor.

Büyük AI yönetişim çerçeveleri aynı fikirde birleşiyor: sorumlu AI operasyonel hale gelmelidir.

Yalnızca ilkeler değil.

Yalnızca politika PDF'leri değil.

Yalnızca panolar değil.

Operasyonel yönetişim şunları gerektirir:

1. belgelenmiş risk yönetimi
2. otomatik günlük kaydı
3. yüksek etkili kararlar için insan gözetimi
4. yaşam döngüsü boyunca kalite yönetimi
5. sistem davranışının izlenebilirliği
6. pazar sonrası izleme
7. olumsuz sonuçlar için hesap verebilirlik

Bu, NIST AI RMF, NIST'in Üretken AI Profili, ISO/IEC 42001, OECD AI İlkeleri, AB AI Yasası, OWASP'ın aracı AI risk taksonomisi ve 2026 Beş Göz'ün aracı AI hizmetlerine ilişkin rehberliğinde görülebilir.

Yön açıktır.

Kurumsal AI sistemlerinin, çalışma ömürleri boyunca kanıta, kontrole, izlenebilirliğe ve hesap verebilirliğe ihtiyacı vardır.

AI ajanları için bu, yönetişimin çalışma zamanına taşınması gerektiği anlamına gelir.

5. Bir ajan yönetişim katmanı ne yapmalıdır

Bir yönetişim katmanı, ajan çalışma zamanı ile ajanın etkileyebileceği sistemler arasında bir kontrol düzlemidir.

Ajanın amaçlanan eylemini alır, bunu politikaya, izne, riske, kanıta ve önceki sonuçlara göre değerlendirir ve ardından uygulanabilir bir karar döndürür:

izin ver

uyar

inceleme gerekli

engelle

Ciddi bir yönetişim katmanının dokuz işleve ihtiyacı vardır.

1. Kimlik ve kapsamlı yetki

Her ajanın net bir kimliğe, sınırlı izinlere ve kapsamlı kimlik bilgilerine ihtiyacı vardır.

Her ajan aynı API anahtarını paylaşıyorsa bir filo yönetilemez.

1. Çalışma zamanı politikası

Politikalar, yürütülebilir çalışma zamanı koşulları haline gelmelidir.

Hangi adım önce gelir?

Hangi kanıt gereklidir?

Hangi eylem her zaman inceleme gerektirir?

Hangi eylem asla otomatik olarak çalışmamalıdır?

1. Risk kapıları

Sistem, eylemleri etki, geri döndürülebilirlik, hassasiyet ve iş bağlamına göre sınıflandırmalıdır.

Düşük riskli işler otomatik olarak çalışabilir. Yüksek riskli işler kanıt, onay veya engelleme gerektirebilir.

1. Kanıt paketleri

Eylemden önce ajan kanıt eklemelidir.

Örnekler:

• test kapsamı
• geri alma planı
• politika maddesi
• kimlik doğrulama
• klinik onay
• fatura incelemesi
• amir imzası

1. Onay yönlendirmesi

İnsan incelemesi her şey için manuel bir kuyruk olmamalıdır.

Hata maliyetinin yüksek olduğu eylemler için koşullu bir kontrol noktası olmalıdır.

1. Denetim ve kaynak

Her karar izlenebilir olmalıdır.

Bunu kim başlattı?

Neden izin verildi veya engellendi?

Hangi politika uygulandı?

Hangi kanıt eklendi?

Kim onayladı?

Sonra ne oldu?

1. Sonuç kapanışı

Yönetişim, izin ver veya engelle ile bitmez.

Sistem döngüyü kapatmalıdır:

• eylem başarılı oldu mu?
• başarısız oldu mu?
• geri alma gerekti mi?
• kim onayladı?
• hangi ders saklanmalı?

1. Bellek yazma yönetişimi

Her günlük bilgi değildir.

Her bilgi parçası her ajanı etkilememelidir.

Gerçek sonuçlar, yalnızca kontrollü yazma yoluyla bellek haline gelmelidir.

1. Filo düzeyinde öğrenme

Yönetişim katmanı, filo genelindeki davranışı izlemelidir:

• temel iş akışlarından sapma
• yeniden deneme döngüleri
• tekrarlanan başarısızlıklar
• gelecekteki ajanları uyarması gereken kalıplar

Yönetişimin kısıtlamanın ötesine geçtiği yer burasıdır. Öğrenme haline gelir.

6. Bir yönetişim vaka çalışması olarak Marrow

Marrow, basit bir işletim döngüsü etrafında tasarlanmıştır:

yönlendir −> düşün −> hareket et −> kontrol et −> kaydet

Her adımın bir yönetişim işlevi vardır.

Yönlendir, ilgili geçmişi, uyarıları ve kısıtlamaları yüzeye çıkarır.

Düşün, amaçlanan eylemi gerçekleşmeden önce değerlendirir.

Hareket et, bağlam ve korumalar eklenmiş olarak yürütür.

Kontrol et, kanıt veya kapanışın eksik olup olmadığını inceler.

Kaydet, sonucu kaydeder, böylece bir sonraki karar iyileşir.

Bellek ve yargı arasındaki temel fark budur.

Bellek sorar:

Ajan ne biliyor?

Marrow sorar:

Ajan harekete geçmeli mi ve hangi koşullar altında?

Ürün yüzeyleri doğrudan çalışma zamanı yönetişimine eşlenir:

• decisionBrief() ajana eylem öncesi bağlam sağlar.
• workflowGate() izin ver, uyar, inceleme gerekli veya engelle döndürür.
• runGuarded() riskli işleri eylem öncesi rehberlik ve sonuç kapanışı ile sarar.
• agentRuntime() dersleri ve kanıt gereksinimlerini ajan bağlamına enjekte eder.
• agentStatus(), Marrow'un aktif olup olmadığını ve faydalı sinyal toplayıp toplamadığını gösterir.
• valueReport(), yönetişimi sahip tarafından görülebilir kanıta dönüştürür.

Başka bir deyişle:

Marrow, geçmiş sonuçları eylem öncesi yargıya dönüştürür.

7. Somut bir örnek: kötü dağıtım

Bir CI/CD ajanının bir ödeme web kancası değişikliğini dağıtmak üzere olduğunu hayal edin.

Derleme geçer.

Dal hazırdır.

Ajan, üretime göndermek üzeredir.

Ancak çekme isteğinde üç şey eksiktir:

1. test kapsamı
2. geri alma planı
3. duman testi

Yönetişim olmadan dağıtım gerçekleşebilir.

Ödeme başarısızlıkları saatler sonra ortaya çıkar. Müşteriler etkilenir. Nöbetçi mühendis manuel olarak geri alır. Olay başka bir ölüm sonrası incelemesi haline gelir.

Yönetişimle, iş akışı kapısı dağıtımdan önce çalışır.

Şunu döndürür:

risk seviyesi: yüksek

kanıt paketi eksik

dağıtım engellendi

Ajan yalnızca daha fazla günlük kaydetmiyor. Doğru noktada durmaya zorlanıyor.

Eylem öncesi yönetişimin değeri budur.

8. Ajan yönetişimi için doğru metrikler

Bir yönetişim katmanı yalnızca günlükleri saymamalıdır.

Filonun daha güvenli, daha tutarlı ve denetlenmesi daha kolay hale gelip gelmediğini ölçmelidir.

Yararlı metrikler şunları içerir:

• Eylem kapsamı: bir kapıdan kaç yüksek etkili eylem geçiyor
• Kanıt tamamlama oranı: yürütmeden önce kaç eylem gerekli kanıtı içeriyor
• Sonuç kapanış oranı: gerçek bir sonuçla kaç karar kapatılıyor
• Önlenen tekrarlanan başarısızlıklar: bilinen başarısızlık kalıplarından ne sıklıkla kaçınılıyor
• Sapma şiddeti: ajanların onaylı iş akışlarından ne kadar saptığı
• Yanlış pozitif oranı: kapının ne sıklıkla çok fazla engellediği
• Yanlış negatif oranı: tehlikeli eylemlerin ne sıklıkla gözden kaçtığı
• Denetim yeniden yapılandırma süresi: bir kararı açıklamanın ne kadar sürdüğü
• İnsan inceleme hassasiyeti: insan onayının doğru eylemler için kullanılıp kullanılmadığı

Yönetişim, geri almayı azalttığında, tekrarlanan olayları önlediğinde, gereksiz incelemeyi daralttığında ve ajan davranışını kanıtlamayı kolaylaştırdığında faydalıdır.

Aksi takdirde uyum tiyatrosu haline gelir.

9. Yönetişim katmanının da riskleri vardır

Bir yönetişim katmanı da başarısız olabilir.

Yanlış yapılandırılabilir. Politikalar bayatlayabilir. Kanıt eksik olabilir. Kapılar aşırı engelleyebilir. Saldırganlar kontrol düzlemini hedefleyebilir. Çok fazla hassas veri depolarsa, bir risk yoğunlaşma noktası haline gelir.

Bu nedenle yönetişim katmanının kendisinin disipline ihtiyacı vardır:

1. Varsayılan olarak en az ayrıcalık Ajanlar yalnızca ihtiyaç duydukları izinleri, ihtiyaç duydukları süre boyunca almalıdır.
2. Yüksek etkili eylemler için başarısız kapat Eylem ciddi zarara neden olabiliyorsa, eksik kanıt yürütmeyi durdurmalıdır.
3. Düşük riskli otomasyon için yumuşak başarısız Her eylem aynı düzeyde sürtünmeyi hak etmez.
4. İnsan tarafından okunabilir kanıt, makine tarafından okunabilir politika Operatörlerin kararı anlaması gerekir. Sistemlerin bunu uygulaması gerekir.
5. Gerçek sonuçlardan öğrenme Sonuç kapanışı olmadan sistem günlük biriktirir, yargı değil.

10. Sonuç

AI ajanları, yazılımı yeni bir işletim modeline taşıyor.

Araçları seçebilir, diğer ajanlarla koordinasyon sağlayabilir, sistemleri değiştirebilir ve sonuçlar yaratabilirler.

Bu modelde yönetişim, dağıtımdan sonra eklenen bir katman değildir. Çalışma zamanının içinde yer alır.

Bellek, gözlemlenebilirlik, değerlendirme ve insan incelemesinin hepsi önemlidir. Ancak her biri sorunun yalnızca bir kısmını çözer.

Bir yönetişim katmanı bunları hesap verebilir bir eylem döngüsüne bağlar:

eylemden önce politika

yürütmeden önce kanıt

eylem sırasında yetki

eylemden sonra sonuç

filo genelinde öğrenme

Marrow'un ardındaki tez budur.

AI ajan filolarının yalnızca daha fazla hatırlamaya ihtiyacı yoktur.

Harekete geçmeden önce daha iyi yargıya ihtiyaçları vardır.

Referanslar

1. NIST. AI Risk Management Framework
2. NIST. Generative AI Profile, NIST AI 600-1
3. OECD. OECD AI Principles
4. European Commission AI Act Service Desk. Madde 9: Risk yönetim sistemi
5. European Commission AI Act Service Desk. Madde 12: Kayıt tutma
6. European Commission AI Act Service Desk. Madde 14: İnsan gözetimi
7. European Commission AI Act Service Desk. Madde 17: Kalite yönetim sistemi