arXiv cs.CL·· 4 小时前AI 评分26
arXiv:2610.39062:HEARSAYBENCH——评估大语言模型在结构性约束下提供个人咨询能力的基准
arXiv:2610.39062
AI 导读
研究者发布HEARSAYBENCH,一个含400个测试用例、经区域内人工核验的人工撰写数据集,场景取自联合国等人权报告,覆盖80多个地区。该基准基于Amartya Sen的能力方法,检验模型能否区分个人形式上被允许做什么与实际能够做什么。在14个专有与开放权重模型上,所有模型推断用户处境的准确度都高于其给出建议的准确度,更强模型缩小了这一差距,但其建议仍不宜照做。
来源:arXiv cs.CL · arxiv.org