跳到正文
原文
arXiv cs.CL·· 2 天前AI 评分22

DeclineCraft:联合衡量检索与参数知识的 RAG 弃答基准

DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge

AI 导读

研究者提出 DeclineCraft 弃答基准,以 Minecraft 语料截止后新增功能为不可答问题,审计模型的参数知识暴露,并在 27 个大语言模型上测量正确弃答率(CAR)、可答尝试率与答案准确率。

来源:arXiv cs.CL · arxiv.org