İnsan Denetimi Diye Koyduğunuz Onay Düğmesi Muhtemelen Çalışmıyor

Yapay zekâ yönetişimi konuşulurken en sık duyulan cümle şu. "İnsan onayı var, karar makineye bırakılmıyor."

Bu cümleyi duyduğumda sorduğum tek soru var. Onay oranınız kaç?

Cevap gelmiyor, çünkü ölçülmüyor. Ölçüldüğü birkaç yerde de sonuç genellikle yüzde doksan sekizin üzerinde çıkıyor. Yani denetleyen kişi elli kararda bir kez modele itiraz ediyor. Bu tabloda insan denetimi vardır demek, biçimsel olarak doğru ama işlevsel olarak yanlış. Kararı fiilen sistem veriyor, insan yalnızca imza atıyor.

Onay düğmesi neden çalışmıyor

Sebep kötü niyet değil, tasarım.

Bir kullanıcıya günde üç yüz öneri gösterip her birini onaylamasını isterseniz, o kullanıcı kısa sürede otomatikleşir. Modelin doğruluk oranı yüksekse bu daha da hızlanır, çünkü reddettiği birkaç durumda da genellikle model haklı çıkar ve kullanıcı kendi yargısına güvenmeyi bırakır.

Buna literatürde otomasyona aşırı güven deniyor ve bilinen bir olgu. Yani sistem iyi çalıştıkça insan denetimi zayıflıyor. Bu, denetimi tasarlarken hesaba katılması gereken bir gerçek.

Denetimi anlamlı kılan üç koşul

Denetimin işlevsel olabilmesi için üç şeyin birlikte bulunması gerekiyor.

Denetleyen kişi önerinin dayanağını görebilmeli. Modelin hangi girdilere bakarak bu sonuca vardığı gösterilmiyorsa, kişi yalnızca sonucu değerlendirebilir ve sonucu değerlendirmek için kendi başına baştan karar vermesi gerekir. Bu, denetimi pratikte imkânsız kılar.

Reddetme maliyetsiz olmalı. Reddettiğinde ek form doldurması, gerekçe yazması ve amirinden onay alması gereken bir kullanıcı, reddetmemeyi seçer. Reddetme akışı en az onay akışı kadar kolay olmalı.

Reddin bir sonucu olmalı. Reddedilen öneriler bir yere yazılıp kimse bakmıyorsa, denetleyen kişi bunu fark eder ve zamanla ilgisini keser. Reddedilen durumların modelin geliştirilmesine girdi olması, denetimi canlı tutar.

Ölçmediğiniz denetim yoktur

Bu üç koşul kurulduktan sonra bile ölçüm gerekiyor.

İzlenmesi gereken asgari üç gösterge var. Reddetme oranı, karar başına harcanan ortalama süre ve reddedilen kararların sonradan doğru çıkma oranı. Karar başına süre saniyeler mertebesine düşmüşse denetim yapılmıyor demektir. Reddetme oranı sıfıra yaklaşmışsa aynı sonuç.

Bu göstergeler bir denetimde sorulduğunda cevabı olan kurum sayısı çok az. Oysa bunlar zor ölçümler değil, sistemin zaten ürettiği verilerden çıkarılıyor.

İtiraz hakkı mimariyi belirliyor

6698 sayılı Kanun'un 11. maddesi, kişiye münhasıran otomatik sistemlerle analiz edilmesi suretiyle aleyhine bir sonuç doğmasına itiraz etme hakkı tanıyor.

Bu hükmün teknik sonucu doğrudan. İtiraz geldiğinde kararın nasıl verildiğini göstermek zorundasınız. Gösteremiyorsanız kararı savunamazsınız.

Buradan çıkan mimari kural şu. Kişi hakkında sonuç doğuran bir akışta, gerekçe üretmeyen bir model kullanılamaz. Bu, model seçiminde bir kısıt olarak baştan yazılmalı. Sonradan açıklanabilirlik eklemek, çoğu mimaride mümkün değil.

Kayıt tutmak yetmez, doğru şeyi kaydetmek gerekir

Denetim izi denince akla günlük tutmak geliyor ama günlüğün içeriği belirleyici.

Bir kararın sonradan incelenebilmesi için beş şeyin birlikte kaydedilmesi gerekiyor. Sisteme giren veri, modelin sürümü, üretilen çıktı, çıktının dayandığı gerekçe ve insanın verdiği son karar. Bu beşi ayrı sistemlerde tutulursa sonradan eşleştirilemiyor. Model sürümü kaydedilmemişse, aylar sonra "o tarihte model ne diyordu" sorusuna cevap verilemiyor.

Model sürümünün kaydedilmemesi, uygulamada en sık gördüğüm eksik. Model güncelleniyor, eski kararlar yeni modelle açıklanmaya çalışılıyor ve tutmuyor.

Emin olmakla olmamak arasındaki fark gösterilmeli

Son bir nokta. Sistem, düşük güvenle ürettiği çıktıyı yüksek güvenle ürettiğinden ayırt edilebilir biçimde göstermeli.

Bu ayrım yoksa kullanıcı hepsine eşit güveniyor ve hatanın en olası olduğu yerde uyarı almıyor. Oysa modelin kendi belirsizliği çoğu zaman ölçülebiliyor. Bu ölçümü arayüze taşımak, denetimin en ucuz ve en etkili iyileştirmesi.

Bir yapay zekâ projesinde bugün yapılabilecek tek bir iş seçilecek olsaydı, ben bunu seçerdim.