Üretici yapay zekanın halüsinasyonlara yatkın olduğu bilinen bir gerçek, ancak bu araçlar sağlık gibi kritik alanlara girdiğinde, tehlike çanları çalmaya başlıyor. OpenAI bile transkripsiyon aracı Whisper'ın yüksek riskli ortamlarda kullanılmasına karşı uyarıda bulunuyor. Buna rağmen, sağlık sektörü Whisper tabanlı araçları benimsemeye devam ediyor.
OpenAI'nin Whisper adlı transkripsiyon aracı, "halüsinasyon" olarak bilinen ve metinlerde uydurma içerikler oluşturma eğilimi nedeniyle eleştirilere maruz kaldı. Şirketin "insan seviyesinde sağlamlık ve doğruluk" iddialarına rağmen, Associated Press tarafından görüşülen uzmanlar, Whisper'ın bazen tüm cümleleri uydurduğunu veya transkripsiyonlara var olmayan içerikler eklediğini belirtiyor.
Whisper'ın birçok sektörde yaygın olarak kullanılması, bu durumu daha da endişe verici hale getiriyor. Araç, röportajların çeviri ve transkripsiyonunda, tüketici teknolojilerine yönelik metinler üretmede ve video altyazısı oluşturmada kullanılıyor.
En kaygı verici olan ise tıbbi merkezlerin, hastalarla yapılan görüşmeleri transkribe etmek için Whisper tabanlı araçları hızla uygulamaya koyması, üstelik OpenAI'nin bu aracın "yüksek riskli alanlarda" kullanılmaması yönündeki açık uyarılarına rağmen.
Buna karşılık sağlık sektörü, Whisper tabanlı araçları hızla benimsemiş durumda. Fransa ve ABD’de ofisleri bulunan Nabla adlı bir şirket, Minnesota’daki Mankato Kliniği ve Los Angeles Çocuk Hastanesi dahil 30.000’den fazla klinisyen ve 40 sağlık sistemi tarafından kullanılan bir Whisper tabanlı araç geliştirdi.
Nabla'nın baş teknoloji sorumlusu Martin Raison, araçlarının hasta etkileşimlerini transkribe edip özetlemek için tıbbi dile göre özelleştirildiğini belirtti. Ancak şirket, "veri güvenliği gerekçesiyle" orijinal ses kayıtlarını silerek, yapay zeka tarafından üretilen transkriptleri orijinal kayıtla karşılaştırmayı olanaksız hale getiriyor.
Şu ana kadar aracın yaklaşık 7 milyon tıbbi ziyareti transkribe etmek için kullanıldığı bildiriliyor.
Tıbbi ortamlarda yapay zeka transkripsiyon araçlarının kullanılması, gizlilikle ilgili kaygıları da artırmış durumda. California eyaletinden milletvekili Rebecca Bauer-Kahan, çocuğunun doktoruna, muayene ses kaydının Microsoft Azure gibi satıcılarla paylaşılmasını onaylayan bir formu imzalamayı reddettiğini belirtti. Associated Press’e yaptığı açıklamada, “Bu izin, kâr amaçlı şirketlerin bu veriye erişme hakkı olduğunu açıkça belirtiyordu. 'Kesinlikle hayır' dedim,” ifadesini kullandı.
Whisper’ın halüsinasyon sorununun tam kapsamı bilinmiyor, ancak araştırmacılar ve mühendisler çalışmalarında sayısız örnek bildirdiler. Michigan Üniversitesi’nden bir araştırmacı, kamu toplantısı transkripsiyonlarının %80’inde halüsinasyonların bulunduğunu gözlemledi. Bir makine öğrenimi mühendisi, analiz ettiği 100 saatin üzerinde Whisper transkripsiyonunun yarısında bu soruna rastladığını, başka bir geliştirici ise oluşturduğu 26.000 transkriptin neredeyse tamamında benzer sorunları saptadığını bildirdi.
Cornell Üniversitesi'nden Profesör Allison Koenecke ve Virginia Üniversitesi'nden Yardımcı Doçent Mona Sloane tarafından yürütülen bir çalışma, binlerce kısa ses kaydını inceledi ve bu halüsinasyonların yaklaşık %40'ının, potansiyel yanlış anlama veya yanlış temsil nedeniyle zararlı veya kaygı verici olarak değerlendirildiğini ortaya koydu.
Bu halüsinasyon örnekleri arasında orijinal kayıtta bulunmayan şiddet içeriği eklemek, mevcut olmayan ırksal yorumlar üretmek ve var olmayan tıbbi tedaviler yaratmak yer alıyor.
Bir örnekte, Whisper bir çocuğun şemsiye aldığına dair basit bir ifadeyi, haç ve bıçak içeren şiddetli bir senaryoya dönüştürdü. Başka bir durumda, araç, insanlar hakkında tarafsız bir ifadeye ırksal tanımlayıcılar ekledi. Ayrıca, bir transkripsiyonda “hiperaktif antibiyotikler” adında hayali bir ilaç uydurdu.
Böyle hatalar, özellikle hastane ortamında "gerçekten ciddi sonuçlara" yol açabilir, diyen Alondra Nelson, geçen yıla kadar Biden yönetimi için Beyaz Saray Bilim ve Teknoloji Politikası Ofisi'ni yönetti. Princeton, New Jersey'deki İleri Çalışmalar Enstitüsü'nde profesör olan Nelson, “Kimse yanlış teşhis istemez” diyerek, “Daha yüksek bir standart olmalı,” dedi.
Whisper'ın etkisi OpenAI'nin ötesine uzanıyor. Araç, bazı ChatGPT sürümlerine entegre edilmiş durumda ve Oracle ile Microsoft'un bulut platformlarında yerleşik bir hizmet olarak sunuluyor. HuggingFace açık kaynak yapay zeka platformundan indirilen Whisper’ın yeni sürümü, yalnızca bir ayda 4,2 milyondan fazla kez indirildi.
Eleştirmenler, OpenAI'nin bu sorunu derhal ele alması gerektiğini söylüyor. Şubat ayında yön değiştirmesi konusunda endişeleri nedeniyle OpenAI’den ayrılan eski bir mühendis olan William Saunders, “Bu sorunun, şirket bu konuya öncelik vermeye istekliyse çözülebilir göründüğünü” belirtti.
“Bu sorunu düzeltmeden bu ürünü piyasaya sürmeniz sorunlu bir durum; insanlar bu aracın neler yapabileceği konusunda aşırı güven duyar ve diğer sistemlere entegre ederler,” dedi.
Yorumlar
0 yorum