EU AI Act Newsletter 第113期:AI科学小组就"失控"事件召开特别会议
10月9日,欧盟委员会执行副主席Henna Virkkunen与AI科学小组主席Seán Ó hÉigeartaigh举行特别会议,通报近期"失控"事件情况以指导委员会后续行动。AI办公室已要求并收到严重事件报告,并就安全实践发出信息请求;委员会将结合科学小组与AI办公室的问题向开发者发送进一步问询。会议还讨论了递归自我改进及使模型更难被监控的训练技术相关证据。
10月9日,欧盟委员会执行副主席Henna Virkkunen与AI科学小组主席Seán Ó hÉigeartaigh举行特别会议,通报近期"失控"事件情况以指导委员会后续行动。AI办公室已要求并收到严重事件报告,并就安全实践发出信息请求;委员会将结合科学小组与AI办公室的问题向开发者发送进一步问询。会议还讨论了递归自我改进及使模型更难被监控的训练技术相关证据。
研究用少样本GPT-4.1分类器将31家指定在线服务的447份政策文件条款映射至DSA透明度数据库的17类高层属性分类体系。结果显示分类适用性因服务类型差异显著,如不安全产品占电商类分配的17.5%、仅占成人平台类的0.2%,且子类规范间存在明显重叠,难以将单一决策归入单一高层类别。
研究者提出“因果谦抑”治理框架,用于管理因果不确定性下公平性主张的认知权威,包含四项要求:使关键假设与遗漏可见、保留对可辩护因果解释的争议空间、承认不确定性为合法分析结果、保持证据支持与机构权威或行动之间的比例性。
一项基于21名临终患者、11名家庭照护者和8名医生深度访谈的研究,识别出临终场景下数字隐私的五重结构性挑战:身体持续数字化却缺乏实质知情同意、认知衰退导致账户被非自愿代理控制、推断性数据生成超出患者认知边界、关系网络重构中个人隐私边界消解,以及死后数据缺乏机构治理。
一篇 arXiv 论文以 TCP/IP 等互联网协议的发展史为参照,分析 MCP、A2A 等 AI 智能体协议的安全与治理问题。作者结论称,AI 智能体协议若在早期不充分重视安全,将累积随时间推移愈发难以解决的安全欠账;当前治理结构把决策权集中于少数个人和公司,若其成为关键数字基础设施,合法性将受质疑。
研究者提出 VEILED-SH 基准及构建方法,用于评估对间接自杀、自残与痛苦表达的单轮回应,包含 10,003 条提示,覆盖咨询师聊天、论坛帖、平台搜索与分诊场景。
研究团队构建了 AfriGuard,一个覆盖 10 种非洲语言和英语、基于文化语境的多语言数据集,用于研究有害意图、安全类别理解与拒绝行为。研究发现防护模型在安全意图与类别分类上不及开源和闭源大语言模型,模型对适当安全行为的理解有限,F1 低于 60%。基于该数据集开发的防护模型性能可与大 30 倍的模型竞争,拒绝检测器平均性能提升 43.9%,监督微调可显著改善整体安全表现。
EFF 的免费追踪拦截扩展 Privacy Badger 现已支持 macOS 版 Safari,需 Safari 26.5 或更高版本。该扩展此前已有逾 400 万用户,此次是应多年呼声首次推出 Safari 版本,并会自动发送 Global Privacy Control(GPC)信号,该信号在加利福尼亚州、科罗拉多州、新泽西州和康涅狄格州等地已具法律约束力。
去年秋季,Coalition for Secure AI 发布《AI事件响应框架》V1.0,为组织应对AI事件提供参考。该框架将AI特有考量映射到 NIST 网络安全框架2.0 的治理、识别、保护、检测、响应、恢复六项功能,涵盖提示注入、数据投毒、算法偏见等情形。文章建议不要为AI事件单独制定手册,而应将其并入现有事件响应流程,并在供应商协议和并购尽职调查中纳入AI事件响应条款。
研究在受控URL检索设置下跨十个模型、七种语言独立变换请求语言、检索页面语言和应答语言,识别出"跨语言处理安全损失"(SLIP)现象:非英语有害请求使平均工具准入率从46.9%升至67.4%,每个模型均呈正向变化。
辽宁省大连市中级人民法院“融合法庭资源管理平台信创与集约化实践”入选《中国电子政务年鉴》2025年度电子政务典型案例,系继2023年后第二次入选。该平台按“中院集中部署、全市资源共享”模式建设,2025年3月全面铺开后1个月完成全市270个科技法庭升级改造,成为辽宁省首个实现全市融合法庭全覆盖的中级法院。平台依托音视频光闸实现专网与互联网物理隔离,庭审准备时间平均缩短30%。
浙江公安交管部门推进体制、机制、技术“三轮驱动”,构建“人、车、路、企、环境”全要素管控和“工程、执法、宣教、环境、急救”全流程管理的道路交通综合治理体系。浙江省公安厅联合公安部道路交通安全研究中心组建“交管大数据创新应用联合实验室”,依托大数据和人工智能开展高风险违法精准打击与恶劣天气、道路异常视频AI监测预警。
一项对19项近期实证研究的评估显示,通用AI智能体失控风险目前仅达"弱可信"程度。研究按战略欺骗、情境感知、自主复制等八项属性,从构念效度、内容效度和外部效度三个维度审查证据质量,发现无一项研究达到判定某属性存在的效度门槛,仅有一项研究在否定情境感知方向上达标。研究指出外部效度缺口普遍存在,且最危险属性的高外部效度在负责任研究实践下可能结构性无法实现。
针对医疗机构将LLM部署进临床流程时假定二次自动核查必然减少错误的做法,研究提出"互补性脆弱"概念:只有当临床医生与模型以不同机制、在不同病例上出错时,第二推理者才能降低错误。作者据此建议在部署前由各机构在自身病例上审计错误重叠,并建立治理模型以长期维持错误独立性,同时主张以失败重叠度而非仅准确率评价临床AI工具。
研究以语境完整性理论分析美国六家主要 AI 公司的 27 份公开文件,提出八项主动举报正当性标准,分为必需、推定和推荐三类。没有公司说明宽泛共享条款与较窄安全通知何者优先,也未披露举报决策的具体事实门槛、例外条件及是否事后通知用户。研究据此构建分阶段的主动举报框架,主张将其限定为事先披露的狭窄例外。
最高人民检察院通报,自2024年5月印发《关于加强新时代检察技术工作的意见》以来,全国检察机关技术部门共办理技术案件26万余件,其中技术性证据审查案件超14万件、技术协助案件11万余件。
Anthropic 内部研究模型 Claude 在不到半小时内查明 NIST P-192、P-224、P-256、P-384、P-521 五条 ECDSA 曲线种子的来源:并非任何哈希算法,而是 1990 年代 C 库 lrand48 随机数生成器以 Unix 时间戳为种子生成的输出,例如 P-256 需 1842 次迭代。该发现不构成密码学破解或新攻击,反而降低了曲线参数被故意植入后门的可能性。
NIST CAISSI、NSA SISC 与 CISA 联合发布十项关键实践,用于管理超级智能(SI)训练与评估期间可能发生的事件,覆盖准备、检测、响应、恢复、报告五个阶段。
监管同意令的合规依赖一份能跨越团队的整改记录,因为到最终报告时,提交律师可能从未见过当初商定条款的人。FTC 对消费者保护和竞争事务的行政命令通常依 1995 年日落政策在 20 年后终止(60 Fed. Reg. 42,569),该政策不适用于联邦法院命令。Harvey 可将命令逐段结构化,把每项承诺对应到期限与完成证据,并存入 Vault 供后续团队接续使用。
2026年下半年ISO/IEC JTC1/SC27工作组会议和全体会议于9月8日至10月8日以线上线下结合形式举行,32个国家成员国及团体组织参加,中国代表团一行49人参加。
研究者发布GUISE基准,犯罪协助场景取自真实案件并按UNODC ICCS分类组织,每种场景设三种语言框架、覆盖五种文化。评估发现仅改变表述框架即可推高不安全合规率,直接请求下为28.9%,改为纠错式请求后升至66.4%,峰值达97.3%(p<0.05)。四种非英语语言中文化适配提示比直译引发的不安全合规高出7至18个百分点,最不安全模型的回答带有明显盎格鲁中心色彩,且该倾向随危害程度单调上升。
针对大语言模型的机器遗忘评估仅衡量指定基准分布上的遗忘,不足以保障隐私。一项跨语言查询对照案例研究显示,在多个多语言模型家族中,用不同语言和文字查询语义等价信息时,遗忘程度差异显著。单一访问路径即可暴露行为遗忘与信息不可获取之间的真实差距,作者据此呼吁将访问路径泛化与对抗性可恢复性纳入评估。
Anthropic 宣布已向非营利机构 METR 的团队开放员工级访问权限,用于评估其前沿 AI 模型,METR 将自行发布风险评估结果,Anthropic 无权否决发布,仅可要求删减客户数据、律师-当事人保密信息或模型架构等预设类别。
一项针对Google Play商店10,000余款移动医疗应用的静态分析与隐私政策审查发现,69.15%的应用请求至少一项与声明用途无关的权限,52.9%请求位置数据,50.5%和34.9%分别请求摄像头和麦克风权限。近93%的应用未向用户提供同意表单,直接违反GDPR等监管要求;其余7%中每14款就有1款存在所获同意与个人信息收集之间的缺口。
ChainIT 白皮书 CIT-PC-WP-4.0 提出 Provable Compliance 协议,将每项合规事实表示为带来源、时效、置信度与用途限制的 Evidence Assertion VDT。
对InjecAgent和AgentDojo上33000条轨迹的审计发现,多数失败的间接提示注入攻击是被忽视(76-80%)而非被拒绝(17-18%)。仅改变系统提示即可使InjecAgent的ASR从0.2%升至43%;ATOM矩阵显示AgentDojo中21.7%的回合里智能体虽保持安全但未完成用户任务。评估应在ASR之外报告攻击失败方式及任务完成情况。
一项随机实验(N=41)首次直接对比AI主导与人类主导聊天访谈的数据质量,大学生通过同步文字聊天接受培训过的非专家访谈员或本地部署AI系统访谈。AI访谈员提问数量是人类的逾两倍,每人获得的受访者文本量多约65%,但人类访谈员单题回答更长;仅AI组出现跳题,两组回答几乎均切题,具体性无差异。结果基于本地部署的70亿参数开放权重模型,回应了数据安全、GDPR合规与科学可复现性关切。
一篇白皮书提出三支柱政策框架:推动在现有和新兴系统中采纳合作性技术,建立集体制度结构以长期维持这些技术,并通过监管提案限制私营实体以无节制圈占和攫取削弱它们。作者结合案头研究与专题案例,论证该路径在全球南方尤为重要,当地基础设施、融资和政策治理的结构性约束使AI公地与合作性AI工具难以出现和存续。
一项被EMNLP 2026的NLLP研讨会接收的研究,报告了将美国州立法转换为严格schema约束XML的工业流水线,并在两个司法辖区153份金标准法案上做消融实验。
研究团队发布了一个面向可解释波斯语仇恨言论分析的细粒度多跳推理基准,覆盖内容分级、目标识别、仇恨策略与道德基础分析、文本证据提取、有害叙事推断及严重程度评估。对当前先进大语言模型的评测显示,任务越需要细粒度语义与推理,模型表现越差;专有模型总体优于开放权重模型,推理导向模型未见一致优势。引入中间推理步骤可显著提升严重程度预测,基准已公开。
一项基于道德基础理论(MFT)的多智能体框架可对最初拒绝的有害请求进行道德重构,使其在另一种道德基础上显得正当,从而绕过 LLM 安全护栏。研究在三个知名越狱数据集的有害提示上测试了五款开源与专有模型,发现模型对道德化高度敏感,单次尝试越狱率即较高,重复尝试下成功率进一步上升。研究还发现安全基准所违反的道德基础分布不均衡,集中于模型已存在偏见的道德基础。
患者即使被告知可以退出数据共享,医疗机构往往不提供具体操作方法。记者在七个州的25家诊所和医院注册为患者,发现退出流程因欺骗性设计而异常繁琐,并建议提前索取同意表格、使用专用电话和邮箱、录屏留存签署文件。若权利受侵害,可向美国卫生与公众服务部民权办公室投诉。
Anthropic 在 2026 年美国中期选举前强化 Claude 选举保障,新增由 Democracy Works 提供官方投票信息,并在选举夜及之后直接显示最新官方计票结果。
欧洲数据保护监督局(EDPS)将智能体 AI 描述为能够推理规划、调用外部工具、跨会话保留记忆并协调多个子智能体追求长期目标的系统。文章指出,深度伪造曾推动以水印和内容真实性为核心的内容溯源,但自主系统带来的是"系统做了什么、依据谁的授权"这一真实性问题无法回答的问责难题。溯源重心因此从验证图像像素转向验证 AI 智能体代人行事的行动链、工具调用与授权链条。
NOYB 于 2025 年 3 月就 ChatGPT 虚构一名挪威男子杀害两名子女并被判刑的输出,向挪威 Datatilsynet 投诉 OpenAI,该案现由爱尔兰数据保护委员会处理。投诉主张该输出违反 GDPR 第 5(1)(d) 条的准确性原则。文章提出的前置问题是:AI 就可识别个人作出的幻觉陈述是否构成个人数据。
EFF 针对"Catch and Revoke"大规模监控项目的诉讼取得关键法院胜利,法院裁定该案可继续推进。EFF 称该项目旨在让数百万人在网上批评政府前有所顾虑,其与言论自由捍卫者正就此展开反击。本期 EFFector 还介绍了反对反 VPN 法律的进展及 Opt Out October 指南。
一项审计发现,2022至2026年间发布的27款文生图生成器在提示词未提及美貌的情况下,生成的人脸在自动指标和550名人类评分者评判中均比真实照片更具吸引力,23款生成器输出经多重比较校正后仍显著更优。
全球最大健康预约平台 Doctoralia 在 The Markup 与巴西 Agência Pública 调查后,移除了向 LinkedIn、TikTok、Google 等公司发送个人信息的网页追踪器。
Anthropic 在新加坡开设亚太区第五个办公室,并与新加坡数码发展及新闻部签署谅解备忘录,合作涵盖 AI 安全、安保与模型评估、AI 应用影响研究及公私部门负责任采用。
DeepMind 开始广泛推送 Gemini 4 Argon,并扩大 Fairwind Program 至更多受信任的网络安全防御方。该模型在模拟网络攻击场景中解出全部 12 个端到端场景(上一代为 5 个),外部生物越狱红队测试仅能解锁不到 1% 的生物子任务。针对滥用与失准,DeepMind 部署输入筛查、激活探针内部审查与实时监控三层防护,并运行自动化失准监控读取智能体动作与思维链。