arXiv cs.CL·· 5 天前AI 评分28
被忽视而非被拒绝:小型工具型AI智能体的低提示注入成功率掩盖了什么
Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents
AI 导读
对InjecAgent和AgentDojo上33000条轨迹的审计发现,多数失败的间接提示注入攻击是被忽视(76-80%)而非被拒绝(17-18%)。仅改变系统提示即可使InjecAgent的ASR从0.2%升至43%;ATOM矩阵显示AgentDojo中21.7%的回合里智能体虽保持安全但未完成用户任务。评估应在ASR之外报告攻击失败方式及任务完成情况。
来源:arXiv cs.CL · arxiv.org