← Tüm yazılar

Yapay Zeka 8 dk okuma

Decision Bench: yapay zeka sağlıkta ne kadar doğru karar veriyor?

Yedi yapay zeka karar modelini 9 dilde, 14 karar ailesinde 18.875 sağlık kararıyla ölçtük. Neyi ölçtüğümüzü, kıyaslamayı nasıl kurduğumuzu ve sonuçları anlatıyoruz.

Yusuf Yesil, MD, MIS

Sağlık yazılımlarının içindeki yapay zeka çoğu zaman yanıt yazmıyor, karar veriyor.

Bir hasta “kızımın burnu sabahtan beri kanıyor” diye yazıyor ve sistemin bunun ne kadar acil olduğuna karar vermesi gerekiyor. Asistan bir yanıt taslağı hazırlıyor; birinin o yanıtın hastaya gönderilip gönderilemeyeceğine karar vermesi gerekiyor. Bir laboratuvar sonucu geliyor: kritik değer mi, yoksa numune hatası mı? Bir ilaç order’ı düşüyor: eczacı aramalı mı? Bir asistan sırasını bitiriyor ve sıradaki adımı seçmesi gerekiyor: yanıtlamak, soru sormak, literatürde kanıt aramak ya da vakayı bir insana devretmek.

Bu kararlar her gün binlerce kez, daha hiçbir insan tek satır okumadan sessizce veriliyor. Oysa herkese açık tıbbi yapay zeka kıyaslamalarının neredeyse hepsi başka bir şeyi ölçüyor: sınav bilgisini ya da serbest metin yanıtın kalitesini. İkisi de bir modelin doğru mesajı acil kuyruğuna gönderip göndermediğini söylemiyor.

Biz de doğrudan bu kararları ölçen bir kıyaslama kurduk.

Decision Bench neyi ölçüyor

2.479 vakada 18.875 karar, 14 karar ailesi ve 9 dil (Türkçe, İngilizce, İspanyolca, Fransızca, Almanca, Arapça, Japonca, Korece ve Çince).

14 aile, klinik ve tüketici sağlık yazılımlarının her gün verdiği kararları kapsıyor:

Karar ailesiModel neye karar veriyor
Asistanın sıradaki adımıSağlık asistanı şimdi ne yapmalı: yanıtla, kaydet, hatırlat, yönlendir, acile gönder; ton, uzunluk, kanıt araması
Yapay zeka yanıtı denetimiYanıt gönderilebilir mi: atlanan acil durum, uydurma kaynak, reçeteleme, karar
Giyilebilir cihaz özetiVeri kalitesi, kayda değer değişim, olası neden, takip mesajı ya da hekim önerisi
Ruh sağlığı mesajıİntihar riski, kriz protokolü, koruma gereksinimi, destek düzeyi
İlaç order’ıKarar, etkileşim şiddeti, doz aralığı, böbrek ve gebelik uyarıları, eczacının yapacağı
Tanı raporuKritik bulgu, malignite şüphesi, takibin aciliyeti
Hasta mesajıNiyet, başvuru düzeyi, bölüm, kapsam, alarm bulguları, hassas konular
Sağlıklı yaşam tavsiyesi denetimiKanıt, kontrendikasyon, ilaç etkileşimi, yoğunluk, karar
Sağlık belgesiBelge türü, kullanılabilirlik, tarihler, ilaçlar, alerjiler, yapılması gereken
Klinik vakaTanı, atlanmaması gereken durum, sıradaki adım, bakım yeri
Laboratuvar raporuKritik değer, numune hatası, anlamlı değişim, sıradaki adım, takibin aciliyeti
Tedavi takibiYan etkiler, tedaviye uyum, evde ölçümler, tedaviye ara verme, iletişimin aciliyeti
Bakım planı incelemesiPlan kılavuza uyuyor mu: antibiyotik, görüntüleme, kontrol aralığı, düzeltmenin aciliyeti
Acil triyajAciliyet düzeyi, zamana duyarlı durum, EKG, izolasyon, yatış

Her sorunun sabit seçenekleri, her seçeneğin yazılı tanımı ve tek bir referans yanıtı var. Model, ne kadar iyi yazdığıyla değil, verdiği kararla puanlanıyor.

Nasıl kurduk

Soru kataloğunu, yani her kararı, soruların ifadesini, seçenekleri ve her seçeneğin tanımını bir hekim yazdı. Vakalar sentetik: kıyaslama için yazıldı, gerçek hasta kaydı içermiyor. Her vaka bir hedef yanıta göre yazılıp ardından bağımsız bir geçişte kör olarak etiketlendi. Bir soru, iki taraf aynı yanıtta buluştuğunda kıyaslamada kaldı; ayrıştıkları sorular o vakadan çıkarıldı. Vakalar ve referans yanıtlar hekim kontrolünde geliştirildi.

Kıyaslama, aile ve dile göre dengelenmiş iki yarıdan oluşuyor:

  • Açık yarı (1.239 vaka, 9.422 soru) Hugging Face’te CC BY 4.0 lisansıyla duruyor. Yanında yalnız Python’un standart kütüphanesiyle çalışan bir puanlayıcı var.
  • Gizli yarı (1.240 vaka, 9.453 soru) hiç yayımlanmıyor. İsteyen modelleri biz bu yarıda çalıştırıp iki yarının sonucunu yan yana yayımlıyoruz. Açık yarıya göre ayarlanmış bir model, iki yarı arasında fark verir.

Üç ölçüt, çünkü doğruluk tek başına yetmiyor

Doğruluk. Modelin en yüksek olasılık verdiği seçenek referans yanıtla aynı mı? Yanıtlanmayan ya da reddedilen sorular yanlış sayılıyor.

Eksik triyaj. Sıralı sorularda (başvuru düzeyi, aciliyet ölçekleri) yanıtların ne kadarının referansın altında kaldığı. Sağlıkta pahalı hata bu: acil bir vakanın sıradan sayılması. Doğruluğu aynı olan iki model burada çok ayrışabiliyor.

Kalibrasyon. Model “%90 eminim” dediğinde 10 sorunun 9’unu bilebiliyor mu? On güven aralığı üzerinden beklenen kalibrasyon hatasını raporluyoruz. Vakayı yönlendiren, üst basamağa taşıyan ya da insana soran her yazılım bu sayının dürüst olmasına dayanıyor.

Sıralama kesin eşleştirilmiş işaret testine göre: iki model arasındaki fark anlamlı değilse aynı sırayı paylaşıyor.

Sonuçlar

Yedi karar modelini 18.875 sorunun tamamında ölçtük. Diğer sağlayıcıların modelleri 17 Kasım 2026’da herkese açık karar API’leri üzerinden çağrıldı.

SıraModelDoğrulukEksik triyajKalibrasyon hatasıLokal çalışır
1Yesil Decision 1 (Yesil Health AI)%94,1%6,30,004Evet, tek 16 GB GPU
2Perplexity Decider v1.3%87,6%9,90,011Hayır
3Google Gemini Decision 1%86,8%3,90,033Hayır
4GPT-6 Luna Decisions (OpenAI)%84,5%5,10,065Hayır
4Jev 1.14 (TypeSafe AI)%84,1%5,50,007Hayır
6Microsoft Decision 1.1%83,4%6,20,020Hayır
7MANTA-4B (Gevaert Lab, Stanford)%80,1%27,90,035Evet, açık ağırlıklı

Öne çıkanlar:

Yesil Decision 1, 14 ailenin ve 9 dilin hepsinde birinci. Fark, kararın tek bir bilgiye değil bağlama dayandığı yerlerde büyüyor: asistanın sıradaki adımında en yakın modelin 15,5 puan önünde, yapay zeka yanıtı denetiminde 10,1, giyilebilir cihaz özetinde 8,9, ruh sağlığı mesajında 8,0 puan. Fark en çok acil triyajda (0,8) ve bakım planı incelemesinde (0,9) daralıyor; bu iki ailede bütün modeller, dikkatli okuyucuların bile ancak belli bir oranda uzlaşabildiği tavana yakın.

En iyi kalibre edilen model de o (0,004). “%90” dediğinde yaklaşık %90 oranında doğru çıkıyor.

Gizli yarıda da aynı sonucu veriyor. Açık yarıda %94,4, gizli yarıda %93,7. Kimsenin görmediği vakalar da aynı tabloyu çiziyor.

Eksik triyajda en düşük o değil. Google’ın Gemini Decision modeli acil vakaları daha az oranda aşağı yerleştiriyor (%3,9; bizde %6,3). Modelimizin bir sonraki sürümünün hedefi bu, ölçümünü de bu kıyaslamayla yapacağız.

Kurumun kendi sunucusunda çalışıyor. Yesil Decision 1 tek bir 16 GB GPU’da çalıştığı için hastane hasta verisini kendi ağının dışına çıkarmadan kullanabiliyor. L4 bir GPU’da her karar yaklaşık 0,3 saniyede çıkıyor.

Kararlar neden ayrı bir katman olmalı

“Dikkatli ol” denen genel bir model yavaş, pahalı ve denetlemesi zor. Karar modeli ise saniyenin altında, her seferinde aynı biçimde, olasılığıyla birlikte tipli bir yanıt döndürüyor. Bu da onu üzerine yazılım kurulabilecek bir parça yapıyor:

  • Bir sağlık sohbet uygulaması daha tek kelime yazmadan sorunun literatürden kanıt mı, daha derin akıl yürütme mi, yoksa hemen bir güvenlik mesajı mı gerektirdiğine karar veriyor.
  • Hasta gelen kutusu, binlerce mesajı personel açmadan aciliyete ve bölüme göre sıralıyor.
  • Bir yapay zeka asistanının yanıtı, hastaya ulaşmadan önce atlanan acil durum ve uydurma kaynak açısından denetleniyor.
  • Bakım ekibi yalnız giyilebilir cihazdaki eğilim kişinin kendi olağan seyrinden gerçekten koptuğunda uyarı alıyor.

Olasılık da kararın kendisi kadar önemli. Yazılım ondan emin olduğunda kendi başına ilerliyor, emin olmadığında bir insana soruyor.

Kendiniz deneyin

python score.py my_predictions.jsonl --json report.json

Sınırlar

  • Referans yanıtlar her sorunun içindeki seçenek tanımlarına göre veriliyor. Farklı ama savunulabilir bir klinik eşik kullanan model, sınırdaki vakalarda puan kaybeder.
  • Sentetik vakalar gerçek mesajlardan ve kayıtlardan daha temiz. Bu puanları, aynı modelin canlı trafikteki başarısının üst sınırı olarak okuyun ve kullanmadan önce kendi verinizde ölçün.
  • Kıyaslama kararları ölçüyor; genel tıp bilgisini ya da serbest metin yanıtların kalitesini ölçmüyor.
  • Kıyaslamayı da, içindeki modellerden birini de biz geliştirdik. Puanlayıcının açık olması, verinin yarısının herkese açık olması ve her modelin gizli yarıda çalıştırılabilmesi bu yüzden.
  • Klinik kullanım için değildir. Yüksek puan, bir modeli klinik kararlar için güvenli ya da onaylı yapmaz.

Sırada ne var

Modelin bir sonraki sürümünde daha düşük eksik triyaj. Sağlık sohbet modellerini daha geniş ölçen Chat Bench hazırlanıyor. Bir de telefonda çalışacak kadar küçük bir karar modeli.

Sağlık yazılımı geliştiriyor ve modelinizin nasıl karar verdiğini görmek ya da Yesil Decision 1’i kendi ağınızda çalıştırmak istiyorsanız contact@yesilscience.com adresine yazın.

Bu yazı yalnızca bilgilendirme amaçlıdır; profesyonel tıbbi tavsiye, tanı veya tedavinin yerine geçmez.

Yusuf Yesil, MD, MIS
Yusuf Yesil, MD, MIS

Yeşil Science Kurucusu. Tıp Doktoru, Tıbbi Biyokimya Uzmanı ve Sağlık YZ araştırmacısı. Klinik karar destek sistemleri, tanısal yapay zeka ve biyomedikal makine öğrenimi üzerine odaklanmaktadır.

AI Health Hub'ı takip edin