研究揭示LLM仇恨言论分类器存在性别测量偏差

2026年11月3日，arXiv cs.CL发布一项研究，基于421个模板测试四个LLM仇恨言论分类器。研究发现，四个分类器的平衡准确率均超过0.95，但其中两个分类器对同一模板中涉及女性的仇恨言论漏报率显著更高，比其他群体分别高出8.3和4.4个百分点。研究还发现，在30个漏报模板中，有22个模板里模型将针对女性的相同表述重构为个人厌恶或针对个体；即使加入基准自身将性别列为受保护特征的定义，也未缩小该差距。研究据此认为，验证LLM测量工具需采用身份控制的测量不变性测试。目前该研究处于预印本阶段，尚无后续进展报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。