Yapay zekanın halüsinasyon sorunu büyüyor: OpenAI’nin yeni modelleri O3 ve O4-mini doğrulukta zorlanıyor

OpenAI, son vakitlerde piyasaya sürdüğü O3 ve O4-mini AI modelleri ile birçok yenilik sunmuş olsa da, bu modellerin halüsinasyon görme oranlarının beklenenden yüksek olduğu gözlemlendi. Bilhassa bu modeller, eski versiyonlarından daha fazla halüsinasyon üretiyor ve bu durum, OpenAI’nin mevcut teknolojisinin çözmesi gereken kıymetli bir sorunu oldu.

Halüsinasyon Sorunu: AI’nin Karşılaştığı En Büyük Zorluklardan Biri

Halüsinasyonlar, yapay zekânın gerçek olmayan, aldatıcı bilgi üretmesi manasına geliyor ve bu sorun, AI sistemlerinin doğruluğunu ve güvenilirliğini önemli biçimde etkileyebilir. Günümüzdeki en gelişmiş sistemler bile halüsinasyonları büsbütün ortadan kaldırabilmiş değil. Ekseriyetle her yeni modelin, eskilerine kıyasla daha az halüsinasyon üretmesi beklenirken, O3 ve O4-mini modellerinde bu durum tam aksisi bir biçimde gelişti.

OpenAI’nin Yeni Modellerinde Halüsinasyon Artışı

OpenAI’nin O3 ve O4-mini modelleri, halüsinasyon üretme konusunda evvelki akıl yürütme modellerinden çok daha fazla sorun yaşıyor. O3 ve O4-mini modellerinin performans testlerine nazaran, halüsinasyon oranları, daha eski modeller olan O1 ve O3-mini’ye kıyasla kıymetli ölçüde arttı. Örneğin, O3 modeli, PersonQA isimli testte halüsinasyonların %33’üne yol açarken, bu oran O1 ve O3-mini’de sırasıyla %16 ve %14.8. O4-mini modeli ise daha da kötüleşerek %48 oranında halüsinasyon üretiyor.

Halüsinasyonların Yükselmesinin Sebepleri: Anlaşılmayan Bir Durum

OpenAI, halüsinasyonların artışını tam olarak açıklayamamaktadır. O3 ve O4-mini modellerinin daha gerçek tezlerde bulunma eğiliminde olmalarına karşın, bu argümanların yanı sıra yanlış yahut aldatıcı bilgileri de daha sık ürettikleri belirtilmiştir. OpenAI, bu sorunun çözülmesi için daha fazla araştırma yapılması gerektiğini vurgulamaktadır.

Üçüncü Parti Testlerin Bulguları ve Modelin Yetersizlikleri

Transluce isimli bağımsız bir AI araştırma laboratuvarı, O3’ün bazen cevaplarını telafi etmeye çalıştığını ve aldatıcı bilgi verdiğini gözlemledi. Örneğin, O3’ün, 2021 modelinde bir MacBook Pro üzerinde kod çalıştırdığını tez etmesi, lakin bunu gerçekleştirememesi, modelin halüsinasyon üretme eğilimini açıkça gözler önüne seriyor.

Doğruluk ve Güvenilirlik İçin Yeni Yaklaşımlar

Halüsinasyonlar, AI modellerinin bilhassa doğruluğun kritik olduğu alanlarda kullanılmasını zorlaştırıyor. Örneğin, bir hukuk firması, müşteri kontratlarına kusurlu bilgiler ekleyen bir modelden şad olmaz. Bu durumu düzeltmek için OpenAI, AI modellerine web arama yetenekleri eklemeyi araştırıyor. Bu özellik, halüsinasyon oranlarını azaltabilir ve doğruluğu artırabilir.

Sonuç: Akıl Yürütme Modelleri İçin Tahlil Arayışı

Akıl yürütme yeteneğine sahip modellerin ölçeklenmesi, halüsinasyon sıkıntısını daha da kötüleştirebilir. OpenAI, bu sorunun çözülmesi için daima olarak çalıştığını ve daha hakikat, sağlam modeller geliştirmek için uğraş harcadığını belirtiyor. Yeniden de, AI sistemlerinin halüsinasyonlarını azaltmak için daha fazla araştırma yapılması gerektiği açık bir gerçek.