arXiv cs.CL·· 2 天前AI 评分22
DeclineCraft:联合衡量检索与参数知识的 RAG 弃答基准
DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge
AI 导读
研究者提出 DeclineCraft 弃答基准,以 Minecraft 语料截止后新增功能为不可答问题,审计模型的参数知识暴露,并在 27 个大语言模型上测量正确弃答率(CAR)、可答尝试率与答案准确率。
来源:arXiv cs.CL · arxiv.org