跳到正文
原文
arXiv cs.CL·· 4 小时前AI 评分40

arXiv:2610.29477 发布 TenetBench:评估大语言模型是否遵守职业伦理准则

arXiv:2610.29477

AI 导读

研究者发布 TenetBench 数据集,将 3,433 条与十五部俄语职业伦理准则条款冲突的请求与仅合法性不同的良性对照请求配对,用于检验大语言模型是否遵守职业规范。人工验证中专家评定 0.995 的冲突任务合理,模型裁判与裁定标签的 Gwet's AC1 至少为 0.894。在十四种模型与推理模式组合中,十一种对多数此类请求生成冲突内容且多无警告,近四分之三的警告伴随冲突内容出现。

来源:arXiv cs.CL · arxiv.org