arXiv cs.CY·· 12 天前AI 评分36
AusClinBench：针对澳大利亚现行临床政策的大语言模型确定性评分基准
AusClinBench: a deterministically scored benchmark of large language models against current Australian clinical policy
AI 导读
研究者从澳大利亚指南与目录中编写142道题，覆盖PBS授权、MBS计费、Ahpra义务、分诊红旗、免疫与筛查五个领域，于2026年7月至10月测试28个模型。盲测准确率介于51.5%至92.7%，最高分模型之间无法区分；791个失败模型-问题对中684个（86%）为盲测答错、提供条款后答对。在指南未作规定的5道免疫问题上，82%的回答仍给出了指令。
来源：arXiv cs.CY · arxiv.org