Decision Bench Chat Bench yakında

Modeller sağlıkta ne kadar doğru karar veriyor?

Bir vaka girer. Olasılığıyla birlikte bir karar çıkar. Bu kararın ne sıklıkta doğru olduğunu ölçüyoruz.

18.875
karar
14
karar ailesi
9
dil
7
model

Yedi model, aynı kararlar.

9 dilde, 14 aileden 18.875 karar.

SıraModelDoğrulukEksik triyajKalibrasyon hatasıLokal çalışır
1Yesil Decision 1 Yesil Health AI%94,1%6,30.004Evet
2Perplexity Decider v1.3 Perplexity%87,6%9,90.011Hayır
3Google Gemini Decision 1 Google%86,8%3,90.033Hayır
4GPT-6 Luna Decisions OpenAI%84,5%5,10.065Hayır
4Jev 1.14 TypeSafe AI%84,1%5,50.007Hayır
6Microsoft Decision 1.1 Microsoft%83,4%6,20.020Hayır
7MANTA-4B Gevaert Lab, Stanford%80,1%27,90.035Evet

Ölçüm tarihi: 17 Kasım 2026. Diğer sağlayıcıların modelleri herkese açık karar API'leri üzerinden çağrıldı. GPT-6 Luna Decisions 77 soruyu yanıtlamadı; bunlar yanlış sayıldı.

Doğru olmak başka, güvenli olmak başka.Yukarı çıktıkça doğruluk artar. Sola gittikçe rutin sayılan acil vaka azalır.
Gizli yarıda da tablo aynı.Vakaların yarısı açık, yarısı gizli. İki yarıda ayrı ayrı doğruluk.

On dört karar türü.

Dokuz dil.

%90 emin olduğu yanıtların %90'ı doğru.Modelin belirttiği güven ve yanıtın doğru çıkma sıklığı. Köşegen üzerindeki modelin sözüne güvenilebilir.
  1. Doğruluk

    Modelin seçimi referans yanıtla aynı.

  2. Eksik triyaj

    Acil vakayı olduğundan az acil saymak. Bedeli ağır olan hata.

  3. Kalibrasyon hatası

    Modelin belirttiği güven ile doğru çıkma sıklığı arasındaki fark.

Kıyaslama nasıl hazırlandı ve puanlandı
  • Vakalar ve yanıtlarSoruları ve her seçeneğin tanımını bir hekim yazdı. Vakalar sentetiktir, gerçek hasta kaydı içermez; referans yanıtlarıyla birlikte hekim kontrolünde geliştirildi.
  • Modeller ne görüyorYalnızca vaka ve sorular. Modelin yanıtlamadığı soru yanlış sayılır.
  • SıralamaHer model çifti aynı sorularda, 0,05 anlamlılık düzeyinde eşleştirilmiş kesin işaret testiyle karşılaştırılır. Fark anlamlı değilse iki model aynı sırayı paylaşır.
  • Açık ve gizli yarıVakalar aile ve dile göre ikiye bölündü. Yarısı yayımlanır, öbür yarısı hiç yayımlanmaz; açık vakalara göre ayarlanmış bir model iki yarıda farklı sonuç verir.
  • SınırlarSentetik vakalar sahadan gelen vakalardan daha temizdir; canlıya almadan önce kendi verinizle ölçün. Yüksek puan, bir modeli klinik karar için onaylı yapmaz.

Modelinizi ölçtürün ya da bizimkini görün.

Modelinizi gizli yarı için gönderin, Yesil Decision 1'i kendi vakalarınızla canlı görmek için demo isteyin ya da kıyaslamayla ilgili sorunuzu yazın.

Ne için yazıyorsunuz?

Bilgilerinizi yalnız bu talebe yanıt vermek için kullanırız.