Decision Bench
Chat Bench yakında
Modeller sağlıkta ne kadar doğru karar veriyor?
Bir vaka girer. Olasılığıyla birlikte bir karar çıkar. Bu kararın ne sıklıkta doğru olduğunu ölçüyoruz.
- 18.875
- karar
- 14
- karar ailesi
- 9
- dil
- 7
- model
Yedi model, aynı kararlar.
9 dilde, 14 aileden 18.875 karar.
| Sıra | Model | Doğruluk | Eksik triyaj | Kalibrasyon hatası | Lokal çalışır |
|---|---|---|---|---|---|
| 1 | Yesil Decision 1 Yesil Health AI | %94,1 | %6,3 | 0.004 | Evet |
| 2 | Perplexity Decider v1.3 Perplexity | %87,6 | %9,9 | 0.011 | Hayır |
| 3 | Google Gemini Decision 1 Google | %86,8 | %3,9 | 0.033 | Hayır |
| 4 | GPT-6 Luna Decisions OpenAI | %84,5 | %5,1 | 0.065 | Hayır |
| 4 | Jev 1.14 TypeSafe AI | %84,1 | %5,5 | 0.007 | Hayır |
| 6 | Microsoft Decision 1.1 Microsoft | %83,4 | %6,2 | 0.020 | Hayır |
| 7 | MANTA-4B Gevaert Lab, Stanford | %80,1 | %27,9 | 0.035 | Evet |
Ölçüm tarihi: 17 Kasım 2026. Diğer sağlayıcıların modelleri herkese açık karar API'leri üzerinden çağrıldı. GPT-6 Luna Decisions 77 soruyu yanıtlamadı; bunlar yanlış sayıldı.
On dört karar türü.
| Karar ailesi | Yesil Decision 1 | Perplexity Decider v1.3 | Google Gemini Decision 1 | GPT-6 Luna Decisions | Jev 1.14 | Microsoft Decision 1.1 | MANTA-4B |
|---|---|---|---|---|---|---|---|
| Asistanın sıradaki adımıSağlık asistanı şimdi ne yapmalı: yanıtla, kaydet, hatırlat, yönlendir, acile gönder; ton, uzunluk, kanıt araması | %93,5 | %73,9 | %77,3 | %78,0 | %63,4 | %70,3 | %77,3 |
| Yapay zeka yanıtı denetimiYanıt gönderilebilir mi: atlanan acil durum, uydurma kaynak, reçeteleme, karar | %97,8 | %87,7 | %86,8 | %79,0 | %87,0 | %81,0 | %80,7 |
| Giyilebilir cihaz özetiVeri kalitesi, kayda değer değişim, olası neden, takip mesajı ya da hekim önerisi | %94,1 | %85,2 | %79,0 | %79,5 | %76,6 | %83,0 | %72,0 |
| Ruh sağlığı mesajıİntihar riski, kriz protokolü, koruma gereksinimi, destek düzeyi | %95,7 | %87,7 | %86,4 | %86,2 | %87,0 | %84,0 | %78,4 |
| İlaç order'ıKarar, etkileşim şiddeti, doz aralığı, böbrek ve gebelik uyarıları, eczacının yapacağı | %91,7 | %86,2 | %83,8 | %82,8 | %80,6 | %81,0 | %82,5 |
| Tanı raporuKritik bulgu, malignite şüphesi, takibin aciliyeti | %95,7 | %90,8 | %89,4 | %86,5 | %88,1 | %86,2 | %80,5 |
| Hasta mesajıNiyet, başvuru düzeyi, bölüm, kapsam, alarm bulguları, hassas konular | %95,4 | %90,6 | %90,1 | %89,4 | %89,3 | %88,4 | %83,7 |
| Sağlıklı yaşam tavsiyesi denetimiKanıt, kontrendikasyon, ilaç etkileşimi, yoğunluk, karar | %89,5 | %84,7 | %80,6 | %74,5 | %76,7 | %74,1 | %71,2 |
| Sağlık belgesiBelge türü, kullanılabilirlik, tarihler, ilaçlar, alerjiler, yapılması gereken | %98,9 | %91,8 | %91,7 | %95,1 | %94,8 | %91,0 | %89,3 |
| Klinik vakaTanı, atlanmaması gereken durum, sıradaki adım, bakım yeri | %95,0 | %91,2 | %92,2 | %92,2 | %91,4 | %87,2 | %88,0 |
| Laboratuvar raporuKritik değer, numune hatası, anlamlı değişim, sıradaki adım, takibin aciliyeti | %92,3 | %88,1 | %89,7 | %88,9 | %88,6 | %89,1 | %83,9 |
| Tedavi takibiYan etkiler, tedaviye uyum, evde ölçümler, tedaviye ara verme, iletişimin aciliyeti | %90,8 | %89,3 | %88,3 | %81,1 | %84,0 | %84,5 | %78,2 |
| Bakım planı incelemesiPlan kılavuza uyuyor mu: antibiyotik, görüntüleme, kontrol aralığı, düzeltmenin aciliyeti | %91,1 | %90,2 | %89,8 | %79,4 | %80,4 | %80,3 | %70,1 |
| Acil triyajAciliyet düzeyi, zamana duyarlı durum, EKG, izolasyon, yatış | %91,8 | %90,3 | %91,1 | %90,3 | %87,2 | %87,6 | %82,2 |
Dokuz dil.
| Dil | Yesil Decision 1 | Perplexity Decider v1.3 | Google Gemini Decision 1 | GPT-6 Luna Decisions | Jev 1.14 | Microsoft Decision 1.1 | MANTA-4B |
|---|---|---|---|---|---|---|---|
| İngilizce | %93,3 | %88,4 | %87,7 | %85,7 | %84,4 | %84,7 | %81,0 |
| Türkçe | %94,9 | %87,5 | %86,5 | %85,0 | %84,3 | %83,8 | %78,9 |
| İspanyolca | %93,6 | %85,6 | %85,6 | %83,0 | %83,0 | %82,1 | %78,3 |
| Fransızca | %94,0 | %88,3 | %87,3 | %84,3 | %85,2 | %83,6 | %80,6 |
| Almanca | %95,0 | %88,8 | %87,6 | %84,6 | %84,5 | %83,8 | %81,1 |
| Korece | %93,2 | %86,6 | %85,8 | %83,1 | %82,1 | %82,5 | %78,0 |
| Arapça | %94,2 | %87,9 | %87,4 | %85,0 | %84,0 | %83,3 | %80,9 |
| Çince | %94,6 | %87,5 | %86,7 | %85,0 | %84,5 | %82,9 | %81,0 |
| Japonca | %94,5 | %86,7 | %85,8 | %83,0 | %83,6 | %82,0 | %81,0 |
- Doğruluk
Modelin seçimi referans yanıtla aynı.
- Eksik triyaj
Acil vakayı olduğundan az acil saymak. Bedeli ağır olan hata.
- Kalibrasyon hatası
Modelin belirttiği güven ile doğru çıkma sıklığı arasındaki fark.
Kıyaslama nasıl hazırlandı ve puanlandı
- Vakalar ve yanıtlarSoruları ve her seçeneğin tanımını bir hekim yazdı. Vakalar sentetiktir, gerçek hasta kaydı içermez; referans yanıtlarıyla birlikte hekim kontrolünde geliştirildi.
- Modeller ne görüyorYalnızca vaka ve sorular. Modelin yanıtlamadığı soru yanlış sayılır.
- SıralamaHer model çifti aynı sorularda, 0,05 anlamlılık düzeyinde eşleştirilmiş kesin işaret testiyle karşılaştırılır. Fark anlamlı değilse iki model aynı sırayı paylaşır.
- Açık ve gizli yarıVakalar aile ve dile göre ikiye bölündü. Yarısı yayımlanır, öbür yarısı hiç yayımlanmaz; açık vakalara göre ayarlanmış bir model iki yarıda farklı sonuç verir.
- SınırlarSentetik vakalar sahadan gelen vakalardan daha temizdir; canlıya almadan önce kendi verinizle ölçün. Yüksek puan, bir modeli klinik karar için onaylı yapmaz.
Modelinizi ölçtürün ya da bizimkini görün.
Modelinizi gizli yarı için gönderin, Yesil Decision 1'i kendi vakalarınızla canlı görmek için demo isteyin ya da kıyaslamayla ilgili sorunuzu yazın.