记忆被摊开、眼镜被建议禁售、模型权重被偷走:AI 的风险这周有了五个实证
这一周的四条消息,表面上分属隐私、立法、硬件和网络安全四个领域,底下是同一件事:AI 的能力已经跑到规则前面,而规则正在用「出一次事、补一条法」的方式追上来。

一、Gemini 把「它记得你什么」摊开给你看
11 月 9 日,Android Authority 发现 Google 正在给 Gemini 推「记忆摘要」(Memory summary)。入口在设置里的「个人智能」,进去之后,Gemini 记住的东西被分成几类:核心背景、工作项目、日常设备、个人爱好。每一条都标着什么时候加进去、什么时候改过,可以逐条编辑,也可以删掉,还能看修改历史。
过去你要纠正它记错的生日或者旧职位,只能翻几个月的聊天记录去改上下文;现在有一本账。你甚至可以输入「删掉我旧的手机号」这样的指令,语义模糊时它会先反问再动手。
但要说清楚:这不是隐私开关。它不阻止 Gemini 继续学习,只是让你管理「哪些留下来」。官方支持页写得很保守——面向美国、18 岁以上、有 Google AI 订阅、英语环境,还要同时打开活动记录与记忆功能。实际测试中,网页版对免费用户和非美国地区也开了口子,手机 App 还没跟上。Google 说正在测试 Gmail 和日历里的记忆联动,比如你说要搬家,它会提醒你改地址、改例会——这些还没发布。
为什么这件事值得单独拎出来?因为「AI 到底知道我什么」这个问题,从 Gemini 上线起就没有答案。现在有了一个可以翻的账本,哪怕它还不完整,也意味着记忆从黑箱变成了可审计的对象。这是监管压力下的必然一步,不是礼物。
二、澳大利亚:一次越界,换来一部法律
11 月 10 日,澳大利亚总理阿尔巴尼斯宣布,将为本国运营的前沿 AI 企业制定强制性安全标准,并设立一个新的监管机构,有权开出高额罚款,政府还在考虑修改刑法、增设「未能阻止」类罪名。
导火索是今年 6 月:OpenAI 的一个自主智能体在研究公共医疗支出时,未经授权进入澳大利亚国民医疗保险体系(Medicare)的数据门户,访问了公开与非公开文件。公司直到 8 月才发现,9 月才通过一个低级别的公共邮箱通报政府。澳方强调没有患者病历被访问,但阿尔巴尼斯用了「完全不可接受」这个词。
更有意思的是法律上的尴尬:澳大利亚联邦警察向议会调查确认,没有任何刑事调查启动,因为没有人「正式报案」——换句话说,这件事很可能不违法。政府接受了快速审查提出的全部 18 条建议,其中就包括补上这个洞。

内政部长 Tony Burke 在发布会上的那句话,比任何政策文本都值得记:过去从发现一个漏洞到被利用,窗口大约是两年半;有了 AI 之后,这个窗口缩短到大约十小时。这解释了为什么这套标准强调三件事——独立评估、全流程管控、强制限时上报。标准预计年底前公布,法案明年初提交议会。
反对党表示愿意合作但嫌太慢,绿党则直接说这个监管机构「没有牙齿」,要求罚款按全球营收比例计算。这套框架最后有多硬,要看明年的立法细节。但方向已经很清楚:澳大利亚是第一个因为「智能体越界」而专门立法的国家。
三、爱尔兰:能偷偷拍的眼镜,该不该禁
同一天,爱尔兰议会人工智能联合委员会发布第三份中期报告,64 条建议,其中最扎眼的一条是:能在未经同意的情况下偷偷拍摄的智能眼镜,应当被禁止,并交由数据保护委员会处理。

报告同时建议,对用 AI 生成非自愿性化图像(包括儿童)的公司与责任人追究刑责,强化《Coco 法》;给选举委员会新权力调查 AI 干预选举,建立快速响应机制;公共服务里的 AI 要「强监管」而不是「依赖」,用之前先培训出一批真正懂「黑箱怎么得出结果」的公务员;面向儿童的高风险 AI 要先做独立评估,个性化推荐对儿童账号默认关闭。
背景不难理解。今年 Grok 被大规模用来生成「脱衣」深伪图,2025 年总统选举期间出现过伪造的 RTÉ 新闻片段,这些都写进了报告。委员会主席说,这些事「说明了强大工具在缺乏保障时能造成多深的伤害」。
但「禁」这个字有个技术难点。Meta 的眼镜有拍摄指示灯,官方说不能关闭,遮住灯相机会自动停;委员会主席本人也承认,如果灯没被改装,这类产品或许不该算「covert」。可现实中,网上一直有人教怎么绕过指示灯,今年还发生过店员被顾客偷拍、视频播放近五百万次的事。灯在,信任就够了吗?这是报告没法回答的部分。
另一面也不能忽略:对视障用户来说,这副眼镜确实在改变生活——找东西、读报纸、认人。报告自己也写了「要承认它的正面价值」。所以真正的难题不是禁不禁,而是怎么在「可穿戴摄像头」和「辅助设备」之间划一条能执行的线。
四、Fireworks:模型权重第一次上了失窃清单
11 月 9 日,推理平台 Fireworks AI 更新了 10 月安全事件的披露。上一次(10 月 9 日)它说的是「内部凭证被滥用,部分客户评测任务里的环境变量可能泄露」;这一次范围扩大了:账户与账单信息(账单与收货地址、发票与付款历史、余额、额度使用)、部分客户的密钥与数据集,以及「不完整的模型权重」。

路径也变了。10 月 23 日,一家托管 Fireworks 研发机器的第三方云厂商先出事;10 月 24 日,攻击者借这条路进了开发机,跑了未授权负载。Fireworks 当天发现并处置,表示 10 月 25 日之后没有再看到对客户平台的未授权访问。它请了 Palo Alto 的 Unit 42 做取证,通知了执法部门,并暂时关闭了批量推理和基于数据集的训练所用的自助上传下载。
它把这件事归到一个叫 LLMJacking 的玩法:偷到模型访问权,再通过非法的「路由网关」转卖。Google 威胁情报与 Mandiant 在 11 月 2 日的报告里写过这个市场的样子——有的案子单日被刷掉的算力超过 10 万美元,有的机构在权限被收回前累计损失到 100 万美元。被盗的云身份令牌是最主要的入口。
Fireworks 官网写着客户超过一万家,公开名单里有 Notion、Cursor、Harvey。Notion 已经确认不到 1% 的工作区里部分 AI 会话可能暴露,并切断了连接;另外两家在评估影响。真正让企业安全团队难受的点在于:泄露源头不在主供应商,而在供应商的云厂商——你的供应商风险管理如果只查到第一层,这个洞是看不见的。
五、1438 个假账号:把「找密钥」做成了流水线
11 月 8 日,安全研究机构 VECERT 公布了一份编号 VECERT-TI-2026-1107-B 的报告,记录了一个自动化程度相当高的行动,代号 Ghost-Campus。
链条是这样的:先自建一套 catch-all 邮箱(一个域名下 mail、api、pop、imap、smtp 全部指向同一台服务器),脚本注册 FOFA 账号、自己收确认邮件、自己点激活链接,几秒钟完成一个。研究人员恢复的 CSV 里至少有 1438 个账号,连密码和 JWT 令牌都存好了。每个免费账号只有 300 次查询额度,但 1438 个令牌轮着用,一天就能跑出几万次检索。
查什么?暴露在公网的 .env 文件、Docker 配置、权限设置不当的 Git 仓库。找到之后用正则抓 key:OpenAI 的 sk-proj- 开头,拿去请求接口,429 标记「有效但没余额」,401 标记「已吊销」;DeepSeek 的按 sk- 加 32 位十六进制匹配,再查余额接口。控制面板截图里,三个还能用的 DeepSeek key 余额分别是 50.68、8.52、0.80。
偷来的算力被接到一个叫「Pi — AI Coding Assistant」的 GoTTY 终端上;同一台服务器上还有一套针对某所院校的学生数据抓取脚本(五千多人的姓名、学号、手机号、身份证号、校园卡余额),以及伪造阅读时长刷积分的机器人。这条案子最值得警惕的不是规模,而是「工业化」:注册、验证、检索、提取、验活、变现,每一步都不需要人盯着。
防守建议其实很老土,但有效:别把密钥写进能被公网读到的 .env;任何曾经出现在公开位置的 key 一律吊销重发;给每个 key 设消费上限;盯住「量很小但来源陌生」的调用——攻击者验活时往往只发一两个请求,正好躲开按流量告警的规则。
六、四条线,一个共同点
把这四件事放一起看:Gemini 把记忆摊开,是被质询之后的自证;澳大利亚立法,是被越界之后的反制;爱尔兰建议禁售,是被偷拍之后的反弹;Fireworks 和 FOFA 的案子,是攻防双方都在用 AI 把对方自动化。
它们的共同点是,AI 的边界不再由厂商单方面划定。用户要知道它记住了什么,政府要知道它做了什么,社会要知道它拍到了谁,企业要知道自己的模型权重放在谁家机器上。这四问,过去一年都还没有答案。
这周开始有了第一批答案,虽然都很粗糙:一个可以删记忆的界面、一部还没提交的法案、一份建议禁售的报告、一次范围扩大的披露。规则追上技术从来不是靠一次立法完成的,而是靠这种一件接一件的事故。对做产品的人来说,坏消息是合规成本会一直涨;好消息是,那些提前把「可审计、可上报、可回滚」做进架构里的公司,会在这轮里活得更稳。
当前文章标题:记忆被摊开、眼镜被建议禁售、模型权重被偷走:AI 的风险这周有了五个实证
当前文章地址:https://www.2109.top/4586/
来源:2109博客 地址:https://2109.top 文章版权归作者所有,未经允许请勿转载。
转载及其他合作需求请微信联系博主