arXiv cs.CL·· 3 小时前AI 评分20
arXiv研究：四个LLM分类器平衡准确率超0.95，但两个对女性仇恨言论漏报率显著更高
arXiv:2611.02491
AI 导读
一项基于421个模板的研究发现，四个LLM分类器平衡准确率均超0.95，但其中两个对同一模板中涉及女性的仇恨言论漏报率比其他群体分别高出8.3和4.4个百分点。模型在30个漏报模板中的22个里将针对女性的相同表述重构为个人厌恶或针对个体，加入基准自身将性别列为受保护特征的定义也未缩小该差距。研究认为验证LLM测量工具需采用身份控制的测量不变性测试。
来源：arXiv cs.CL · arxiv.org