arXiv cs.CL·· 2 天前AI 评分30
风湿病学中的Decision与System One模型:专科培训考题与诊断案例的准确性与校准评估
Decision and System One models in rheumatology: accuracy and calibration on specialty-training examination questions and diagnostic case vignettes
AI 导读
研究评估了Decision与System One模型在风湿病学考题和诊断案例上的准确性与校准。在172道西班牙专科培训考题(RheumaMIR)中,Jev准确率为西班牙语93.0%、英语91.9%,低于GPT-6 Sol的99.4%;在RheumBench的70个诊断案例中GPT-6 Sol为76.9%、Jev为50.0%,各System One模型均低于GPT-6 Sol。
来源:arXiv cs.CL · arxiv.org