Açıklanabilir Yapay Zekâ (XAI) yöntemleri, sistemlerin kararlarını anlamamızı sağlamayı hedefliyor. Ancak akademide ve sektörde temel bir anlaşmazlık var: Bir modeli sonradan açıklamak mı daha anlamlı, yoksa baştan anlaşılabilir bir model kurmak mı? Ve açıklanabilir yapay zeka bizim adımıza iyi sonuçlar üretmeyi sağlayacak mı, yoksa şirketleri dokunulmaz kılmaya mı yarayacak.
Konuşmada bunu anlamak SHAP ve LIME gibi post-hoc açıklama yöntemlerinin nasıl çalıştığı ve hangi durumlarda yanıltıcı olabileceği ele alınacak. Özellikle Cynthia Rudin’in savunduğu yaklaşım üzerinden, “kara kutu modeli açıklamaya çalışmak yerine doğrudan yorumlanabilir modeller inşa etmek” fikri tartışılacak. Rudin’in, yüksek riskli alanlarda (sağlık, hukuk, kamu kararları gibi) karmaşık ama opak sistemler yerine doğrudan anlaşılabilir modellerin tercih edilmesi gerektiği yönündeki argümanı, teknik ve etik boyutlarıyla değerlendirilecek.
Diğer yandan Timnit Gebru’nun veri seti belgeleri (datasheets for datasets) ve model şeffaflığı üzerine çalışmaları çerçevesinde, açıklanabilirliğin yalnızca model içi mekanizmalarla sınırlı olmadığı; veri toplama süreçlerinden kurumsal hesap verebilirliğe kadar uzanan daha geniş bir sorumluluk alanı içerdiği vurgulanacak. Gebru’nun öne çıkardığı veri önyargıları, belgeleme eksiklikleri ve kurumsal güç ilişkileri, “açıklama”nın teknik bir araç olmaktan çok politik bir meseleye dönüştüğü noktaları görünür kılacak. Bu çerçevede konuşma üç temel soruya odaklanacak: Açıklama üretmek gerçekten anlamaya mı karşılık gelir? İkna edici bir açıklama her zaman doğru mudur?
Güven, sistemin anlattığı hikâyeden mi, yoksa o sistemi sorgulayabilme imkânından mı doğar? Amacım, alanda çalışan bir araştırmacı olarak açıklanabilirliği tamamen reddetmek değil; onu daha sağlam bir zemine oturtmak. Çünkü güven, yalnızca modelin ne söylediğiyle değil, nasıl tasarlandığı, hangi verilerle eğitildiği ve ne ölçüde sorgulanabildiğiyle kurulur. Bu konuşma, “Trust the Algorithm” çağrısını yeniden düşünmeye ve açıklanabilirlik ile hesap verebilirlik arasındaki farkı birlikte tartışmaya davet ediyor.