Sağlık yazılımlarının içindeki yapay zeka çoğu zaman yanıt yazmıyor, karar veriyor.
Bir hasta “kızımın burnu sabahtan beri kanıyor” diye yazıyor ve sistemin bunun ne kadar acil olduğuna karar vermesi gerekiyor. Asistan bir yanıt taslağı hazırlıyor; birinin o yanıtın hastaya gönderilip gönderilemeyeceğine karar vermesi gerekiyor. Bir laboratuvar sonucu geliyor: kritik değer mi, yoksa numune hatası mı? Bir ilaç order’ı düşüyor: eczacı aramalı mı? Bir asistan sırasını bitiriyor ve sıradaki adımı seçmesi gerekiyor: yanıtlamak, soru sormak, literatürde kanıt aramak ya da vakayı bir insana devretmek.
Bu kararlar her gün binlerce kez, daha hiçbir insan tek satır okumadan sessizce veriliyor. Oysa herkese açık tıbbi yapay zeka kıyaslamalarının neredeyse hepsi başka bir şeyi ölçüyor: sınav bilgisini ya da serbest metin yanıtın kalitesini. İkisi de bir modelin doğru mesajı acil kuyruğuna gönderip göndermediğini söylemiyor.
Biz de doğrudan bu kararları ölçen bir kıyaslama kurduk.
Decision Bench neyi ölçüyor
2.479 vakada 18.875 karar, 14 karar ailesi ve 9 dil (Türkçe, İngilizce, İspanyolca, Fransızca, Almanca, Arapça, Japonca, Korece ve Çince).
14 aile, klinik ve tüketici sağlık yazılımlarının her gün verdiği kararları kapsıyor:
| Karar ailesi | Model neye karar veriyor |
|---|---|
| Asistanın sıradaki adımı | Sağlık asistanı şimdi ne yapmalı: yanıtla, kaydet, hatırlat, yönlendir, acile gönder; ton, uzunluk, kanıt araması |
| Yapay zeka yanıtı denetimi | Yanıt gönderilebilir mi: atlanan acil durum, uydurma kaynak, reçeteleme, karar |
| Giyilebilir cihaz özeti | Veri kalitesi, kayda değer değişim, olası neden, takip mesajı ya da hekim önerisi |
| Ruh sağlığı mesajı | İntihar riski, kriz protokolü, koruma gereksinimi, destek düzeyi |
| İlaç order’ı | Karar, etkileşim şiddeti, doz aralığı, böbrek ve gebelik uyarıları, eczacının yapacağı |
| Tanı raporu | Kritik bulgu, malignite şüphesi, takibin aciliyeti |
| Hasta mesajı | Niyet, başvuru düzeyi, bölüm, kapsam, alarm bulguları, hassas konular |
| Sağlıklı yaşam tavsiyesi denetimi | Kanıt, kontrendikasyon, ilaç etkileşimi, yoğunluk, karar |
| Sağlık belgesi | Belge türü, kullanılabilirlik, tarihler, ilaçlar, alerjiler, yapılması gereken |
| Klinik vaka | Tanı, atlanmaması gereken durum, sıradaki adım, bakım yeri |
| Laboratuvar raporu | Kritik değer, numune hatası, anlamlı değişim, sıradaki adım, takibin aciliyeti |
| Tedavi takibi | Yan etkiler, tedaviye uyum, evde ölçümler, tedaviye ara verme, iletişimin aciliyeti |
| Bakım planı incelemesi | Plan kılavuza uyuyor mu: antibiyotik, görüntüleme, kontrol aralığı, düzeltmenin aciliyeti |
| Acil triyaj | Aciliyet düzeyi, zamana duyarlı durum, EKG, izolasyon, yatış |
Her sorunun sabit seçenekleri, her seçeneğin yazılı tanımı ve tek bir referans yanıtı var. Model, ne kadar iyi yazdığıyla değil, verdiği kararla puanlanıyor.
Nasıl kurduk
Soru kataloğunu, yani her kararı, soruların ifadesini, seçenekleri ve her seçeneğin tanımını bir hekim yazdı. Vakalar sentetik: kıyaslama için yazıldı, gerçek hasta kaydı içermiyor. Her vaka bir hedef yanıta göre yazılıp ardından bağımsız bir geçişte kör olarak etiketlendi. Bir soru, iki taraf aynı yanıtta buluştuğunda kıyaslamada kaldı; ayrıştıkları sorular o vakadan çıkarıldı. Vakalar ve referans yanıtlar hekim kontrolünde geliştirildi.
Kıyaslama, aile ve dile göre dengelenmiş iki yarıdan oluşuyor:
- Açık yarı (1.239 vaka, 9.422 soru) Hugging Face’te CC BY 4.0 lisansıyla duruyor. Yanında yalnız Python’un standart kütüphanesiyle çalışan bir puanlayıcı var.
- Gizli yarı (1.240 vaka, 9.453 soru) hiç yayımlanmıyor. İsteyen modelleri biz bu yarıda çalıştırıp iki yarının sonucunu yan yana yayımlıyoruz. Açık yarıya göre ayarlanmış bir model, iki yarı arasında fark verir.
Üç ölçüt, çünkü doğruluk tek başına yetmiyor
Doğruluk. Modelin en yüksek olasılık verdiği seçenek referans yanıtla aynı mı? Yanıtlanmayan ya da reddedilen sorular yanlış sayılıyor.
Eksik triyaj. Sıralı sorularda (başvuru düzeyi, aciliyet ölçekleri) yanıtların ne kadarının referansın altında kaldığı. Sağlıkta pahalı hata bu: acil bir vakanın sıradan sayılması. Doğruluğu aynı olan iki model burada çok ayrışabiliyor.
Kalibrasyon. Model “%90 eminim” dediğinde 10 sorunun 9’unu bilebiliyor mu? On güven aralığı üzerinden beklenen kalibrasyon hatasını raporluyoruz. Vakayı yönlendiren, üst basamağa taşıyan ya da insana soran her yazılım bu sayının dürüst olmasına dayanıyor.
Sıralama kesin eşleştirilmiş işaret testine göre: iki model arasındaki fark anlamlı değilse aynı sırayı paylaşıyor.
Sonuçlar
Yedi karar modelini 18.875 sorunun tamamında ölçtük. Diğer sağlayıcıların modelleri 17 Kasım 2026’da herkese açık karar API’leri üzerinden çağrıldı.
| Sıra | Model | Doğruluk | Eksik triyaj | Kalibrasyon hatası | Lokal çalışır |
|---|---|---|---|---|---|
| 1 | Yesil Decision 1 (Yesil Health AI) | %94,1 | %6,3 | 0,004 | Evet, tek 16 GB GPU |
| 2 | Perplexity Decider v1.3 | %87,6 | %9,9 | 0,011 | Hayır |
| 3 | Google Gemini Decision 1 | %86,8 | %3,9 | 0,033 | Hayır |
| 4 | GPT-6 Luna Decisions (OpenAI) | %84,5 | %5,1 | 0,065 | Hayır |
| 4 | Jev 1.14 (TypeSafe AI) | %84,1 | %5,5 | 0,007 | Hayır |
| 6 | Microsoft Decision 1.1 | %83,4 | %6,2 | 0,020 | Hayır |
| 7 | MANTA-4B (Gevaert Lab, Stanford) | %80,1 | %27,9 | 0,035 | Evet, açık ağırlıklı |
Öne çıkanlar:
Yesil Decision 1, 14 ailenin ve 9 dilin hepsinde birinci. Fark, kararın tek bir bilgiye değil bağlama dayandığı yerlerde büyüyor: asistanın sıradaki adımında en yakın modelin 15,5 puan önünde, yapay zeka yanıtı denetiminde 10,1, giyilebilir cihaz özetinde 8,9, ruh sağlığı mesajında 8,0 puan. Fark en çok acil triyajda (0,8) ve bakım planı incelemesinde (0,9) daralıyor; bu iki ailede bütün modeller, dikkatli okuyucuların bile ancak belli bir oranda uzlaşabildiği tavana yakın.
En iyi kalibre edilen model de o (0,004). “%90” dediğinde yaklaşık %90 oranında doğru çıkıyor.
Gizli yarıda da aynı sonucu veriyor. Açık yarıda %94,4, gizli yarıda %93,7. Kimsenin görmediği vakalar da aynı tabloyu çiziyor.
Eksik triyajda en düşük o değil. Google’ın Gemini Decision modeli acil vakaları daha az oranda aşağı yerleştiriyor (%3,9; bizde %6,3). Modelimizin bir sonraki sürümünün hedefi bu, ölçümünü de bu kıyaslamayla yapacağız.
Kurumun kendi sunucusunda çalışıyor. Yesil Decision 1 tek bir 16 GB GPU’da çalıştığı için hastane hasta verisini kendi ağının dışına çıkarmadan kullanabiliyor. L4 bir GPU’da her karar yaklaşık 0,3 saniyede çıkıyor.
Kararlar neden ayrı bir katman olmalı
“Dikkatli ol” denen genel bir model yavaş, pahalı ve denetlemesi zor. Karar modeli ise saniyenin altında, her seferinde aynı biçimde, olasılığıyla birlikte tipli bir yanıt döndürüyor. Bu da onu üzerine yazılım kurulabilecek bir parça yapıyor:
- Bir sağlık sohbet uygulaması daha tek kelime yazmadan sorunun literatürden kanıt mı, daha derin akıl yürütme mi, yoksa hemen bir güvenlik mesajı mı gerektirdiğine karar veriyor.
- Hasta gelen kutusu, binlerce mesajı personel açmadan aciliyete ve bölüme göre sıralıyor.
- Bir yapay zeka asistanının yanıtı, hastaya ulaşmadan önce atlanan acil durum ve uydurma kaynak açısından denetleniyor.
- Bakım ekibi yalnız giyilebilir cihazdaki eğilim kişinin kendi olağan seyrinden gerçekten koptuğunda uyarı alıyor.
Olasılık da kararın kendisi kadar önemli. Yazılım ondan emin olduğunda kendi başına ilerliyor, emin olmadığında bir insana soruyor.
Kendiniz deneyin
- Sayfa ve tüm sonuçlar (aileye ve dile göre): yesilscience.com/tr/kiyaslama/karar
- Açık yarı, puanlayıcı ve bizim tahminlerimiz: huggingface.co/datasets/yesilhealth/Yesil_Decision_Bench
- Modelinizi gizli yarıda ölçtürmek için: kıyaslama sayfasının sonundaki formu doldurun. Biz çalıştırıp iki yarının sonucunu birlikte yayımlıyoruz.
python score.py my_predictions.jsonl --json report.jsonSınırlar
- Referans yanıtlar her sorunun içindeki seçenek tanımlarına göre veriliyor. Farklı ama savunulabilir bir klinik eşik kullanan model, sınırdaki vakalarda puan kaybeder.
- Sentetik vakalar gerçek mesajlardan ve kayıtlardan daha temiz. Bu puanları, aynı modelin canlı trafikteki başarısının üst sınırı olarak okuyun ve kullanmadan önce kendi verinizde ölçün.
- Kıyaslama kararları ölçüyor; genel tıp bilgisini ya da serbest metin yanıtların kalitesini ölçmüyor.
- Kıyaslamayı da, içindeki modellerden birini de biz geliştirdik. Puanlayıcının açık olması, verinin yarısının herkese açık olması ve her modelin gizli yarıda çalıştırılabilmesi bu yüzden.
- Klinik kullanım için değildir. Yüksek puan, bir modeli klinik kararlar için güvenli ya da onaylı yapmaz.
Sırada ne var
Modelin bir sonraki sürümünde daha düşük eksik triyaj. Sağlık sohbet modellerini daha geniş ölçen Chat Bench hazırlanıyor. Bir de telefonda çalışacak kadar küçük bir karar modeli.
Sağlık yazılımı geliştiriyor ve modelinizin nasıl karar verdiğini görmek ya da Yesil Decision 1’i kendi ağınızda çalıştırmak istiyorsanız contact@yesilscience.com adresine yazın.




