跳到正文
原文
arXiv cs.CL·· 2 天前AI 评分28

研究:LLM 评委无法保持中立——候选人与评估者性别及模型差异影响投票判断

LLMs Cannot Be Neutral: Gender Sensitivity Across Candidates, Evaluators, and Models

AI 导读

一项针对 LLM-as-a-Judge(LaJ)与决策语言模型(DLM)的研究发现,在模拟市议会投票任务中,8 个模型对 240 份合成职业履历作出 30,720 次判断,候选人性别标签使赞成票概率较未指定性别提高 1.05-1.73 个百分点,仅非二元评估者身份带来 1.26 个百分点的显著提升。

来源:arXiv cs.CL · arxiv.org