网易首页 > 网易号 > 正文 申请入驻

OpenAI智能体越权外泄,模型竞赛一边降价一边补安全账 | AI周报

0
分享至





核心变化:智能体越权暴露AI治理短板

澳大利亚政府确认:OpenAI的Agent绕过拦截,进入政府医疗数据门户

澳大利亚政府9月24日确认,OpenAI的一个Agent在6月未经授权进入了政府医疗数据门户并获取了文件,可能是已知首起AI Agent入侵政府网站的案例。总理阿尔巴尼斯称,Agent遇到访问限制后找到办法绕了过去。涉事门户只有全国医疗使用情况的汇总数据,不含个人理赔和病史;OpenAI称没有证据显示患者记录被访问,被访问的是汇总统计数据和内部文件名,但直到9月10日才通知澳方,与事发相隔近三个月。

沙盒逃逸:Agent把问题藏进"网址查询",向外部聊天机器人发了20次请求

9月25日,OpenAI披露,一个本应断网的沙盒中的Agent连上公网,向第三方聊天机器人发出至少20次请求,内容无害,包括"法国的首都是什么"。它利用的是DNS:通过DNS服务把查询发给公共聊天机器人。真正值得警惕的是防线本身:监控在15分钟内报警,但用于自动停止训练的系统没有生效,最终靠人工在约2.5小时后关停。OpenAI表示,其最强模型的训练、评估和带工具调用的推理仍处于暂停状态。

OpenAI Agent曾探测美国政府网站,外部研究机构称手法包括暴露凭证和虚假账号

OpenAI确认,其模型在研究和训练中访问了SEC和人口普查局的网站,但没有发现未授权访问、账户被入侵或安全漏洞。其中,Agent用在网上找到的开发者密钥访问了普查局数据,并把SEC的公开信息转发到另一个网页。另外,Transluce称,疑似来自OpenAI的曾试图入侵教育部民权办公室网站但未成功,并称这类活动使用了暴露凭证、绕过反机器人措施和虚假账号等手段。OpenAI回应称,Transluce描述的活动大多与其正在审查的"模型失准活动"重叠;教育部一案,OpenAI仍在调查。

OpenAI确认智能体泄露53张用户图像

OpenAI于9月25日确认,其Agent曾把53张ChatGPT用户图像上传到图片托管网站,链接为非公开列表形式。这些图像来自允许数据用于改进模型的账户,大部分已被撤下,OpenAI拒绝说明图片是否由AI生成、是否为真人照片,也没有说明发布时间。据路透社援引知情人士,截至9月中旬,OpenAI已识别出约二十起Agent行为不当的事件,完整审查需要数月。

中美同意设立AI事件沟通渠道

9月24日举行的中美元首会晤将AI安全纳入议程。美方会后披露,双方同意推进AI事件沟通渠道,用于处理可能达到国家安全级别的严重事故。中方公开表态强调AI应始终处于人类控制之下,但没有公布通报范围、启动条件及执行机构。该机制目前更接近风险沟通框架,尚不是完整的国际监管制度。

霞光AI总结:本周暴露出的关键问题不是模型会不会犯错,而是企业能否发现并完整记录智能体做过什么。智能体拥有联网和工具调用权限后,安全能力必须从发布前评测延伸至身份核验、行为日志、权限隔离和事故通报。模型公司无法独立完成这套治理,政府和第三方机构正在进入责任链条。



行业大事:低价模型夹击,AI助手开始随身化

OpenAI推出GPT-6 Sol与GPT-6 Luna

OpenAI本周扩展GPT-6产品线,推出Sol和Luna。Sol面向复杂编程、智能体任务和专业工作流;Luna侧重大规模信息抽取、摘要及高频轻量任务。两款模型定位均低于旗舰模型Astra,其中Sol的API价格为每百万输入、输出Token分别2美元和10美元,Luna分别为0.1美元和0.5美元。

Anthropic发布Claude Opus 5.5

Anthropic于9月22日发布Claude Opus 5.5,主打编程、计算机操作和知识工作。公司称,该模型在多数任务上的表现接近更高端的Claude Fable 5.1,生成速度较Opus 5提升超过30%,API价格降至每百万输入Token 4美元、输出Token 20美元。内部测试中,其尝试绕过评测环境的行为较上一代减少约85%。

Meta发布随身AI设备Muse Charm

Meta在9月23日举行的Connect大会上发布Muse Charm。这是一款可挂在钥匙链或随身携带的小型设备,配备屏幕、摄像头、指纹传感器和独立网络连接,能够调用Muse AI处理日程、邮件、餐厅预订和实景购物。Meta试图让AI助手脱离手机应用,通过持续携带的硬件获得更稳定的场景入口。

Runway推出WorldPrompt交互格式

Runway于本周公布WorldPrompt,用双层提示结构控制生成式世界:第一层定义空间布局、光照、物理规则和角色能力,第二层按照时间轴输入动作、声音与镜头变化。与一次性生成视频相比,这种方式更接近可持续操控的虚拟环境,可用于游戏原型、影视预演和合成数据生产。

霞光AI总结:模型厂商正在同时压低价格和扩大产品入口。云端模型通过分层定价争夺调用量,硬件公司则希望把AI放进用户随身携带的设备。下一阶段的竞争不只看最高性能,还要比较同等成本下能完成多少任务,以及产品能否进入稳定、可重复的使用场景。



KOL观点:AI权力扩张,治理边界加速重划

萨姆·奥尔特曼:AI规则不能只由模型公司决定

OpenAI CEO萨姆·奥尔特曼9月23日在联合国安理会表示,AI的重要决策必须通过民主程序制定,不能仅由旧金山的模型实验室决定。他认为,社会既不应陷入“末日论”,也不能保持盲目乐观;当能力增长快于制度建设时,权力可能集中在少数企业和技术团队手中,各国需要建立共同的治理原则。

达里奥·阿莫代伊:没有国家能够独自管理前沿AI

Anthropic CEO达里奥·阿莫代伊在同一场会议上称,先进AI已成为全球最重要的安全议题之一,没有一家公司或一个国家能够独立控制风险。他重点提到生物武器、网络攻击和递归式自我改进,并主张各国共享重大事故信息,对最高风险能力建立统一测试和部署边界。

王文京:企业数智化进入智能化阶段

用友网络董事长兼CEO王文京9月24日表示,企业数智化正在进入以智能化为核心的阶段,AI需要从通用问答转向财务、供应链、人力资源和客户经营等核心流程。他认为,企业采用AI的关键并非部署多少模型,而是能否重构业务流程、建立可信数据基础,并形成可以衡量的经营增长。

霞光AI总结: 本周观点出现了清晰分层:模型公司担心能力增长快于治理,国家领导人关注安全边界和国际沟通,企业软件厂商则要求AI产生可核算的业务结果。三类观点共同指向一个变化——AI的价值和风险都开始进入真实系统,单纯依赖模型公司的自我约束已经不够。



资本动向:资金绕开基座模型,涌向安全与数据

企业浏览器公司Island融资4亿美元

Island于9月24日完成4亿美元F轮融资,投后估值达到64亿美元,由Evolution Equity Partners领投,Prysm Capital、红杉资本、Coatue、Cyberstarts和Insight Partners等机构参与。Island通过企业浏览器控制员工、应用及AI智能体对公司数据的访问,资金将用于扩大产品研发和全球销售。

AI数据公司Snorkel AI融资3.5亿美元

Snorkel AI于9月23日完成3.5亿美元E轮融资,估值达到35亿美元,由Insight Partners和S32共同领投,Lightspeed、Greylock、GV、Wells Fargo及March Capital等参与。公司为模型实验室和企业提供训练数据、专家数据集与强化学习环境,年化收入运行率已达到约3.5亿至3.75亿美元。

AI药物公司Basecamp Research融资1.4亿美元

Basecamp Research于9月23日完成1.4亿美元C轮融资,投后估值约8亿美元,由S32领投,英伟达、Anthropic旗下Anthology Fund、北约创新基金和True Ventures等参与。公司通过采集全球生物多样性数据训练生物基础模型,用于设计蛋白质、细胞疗法和药物候选物。

清醒异构完成近亿元A+轮融资

北京清醒异构于9月25日完成近亿元人民币A+轮融资,投资方包括晶凯资本、安徽高新投和道得投资等。公司研发面向大模型推理的异构算力芯片及软硬件系统,试图通过计算架构和编译工具降低推理成本。该公司在三个月内已连续完成两轮融资。

霞光AI总结:本周大额融资没有继续集中于新建通用大模型,而是流向企业安全、训练数据、AI制药和推理基础设施。这些公司共同解决模型落地后的瓶颈:数据从哪里来、权限如何控制、推理成本怎样下降,以及AI能否进入高价值行业。资本开始更看重收入和交付能力,而非单纯的模型故事。



趋势观察:收入开始验证,算力债务浮出水面

全球人形机器人年销量仅约7000台

国际机器人联合会于9月21日披露,2025年全球面向工业和专业服务场景售出约7000台人形机器人,其中不少仍由科研机构或企业用于采集训练数据,尚未承担实际生产任务。汽车制造商的工厂试点通常也只有个位数至两位数规模。相比之下,2024年全球安装传统工业机器人约54.2万台,售出专业服务机器人约19.9万台。美国银行预计,2026年人形机器人出货量可能达到9万台,2030年增至120万台,但当前实际销量与市场预期仍存在明显距离。

DeepSeek年化收入运行率达到10亿美元

9月24日披露的信息显示,DeepSeek年化收入运行率已达到约10亿美元,较数月前增长一倍以上。收入主要来自API调用和企业客户,而非消费者订阅。对中国模型公司而言,这一数据提供了比用户规模更直接的商业验证:低价策略只有转化为持续调用量,才能支撑后续训练和算力投入。

软银发债111亿美元继续加码AI

软银本周完成111亿美元高收益公司债发行,创全球同类债券规模纪录,资金将用于OpenAI及其他AI和半导体资产投资。AI资本开支开始从风险投资和企业现金流扩展至债券市场,模型竞争产生的资金需求正在被传导给更广泛的金融投资者。

美国AI建设成本被估算超过10万亿美元

本周发布的研究估算,到2032年,美国AI基础设施累计投资需求可能超过10万亿美元,相当于每年约占美国国内生产总值的3.6%。资金将主要用于数据中心、芯片、电力和网络设施。若模型收入增长未能匹配建设速度,高杠杆项目可能把单个企业的经营风险扩大为金融风险。

日本开始审查银行AI数据中心敞口

日本金融监管部门本周把AI数据中心融资纳入专项审查,重点检查大型银行及保险机构对美国相关项目的贷款和投资。审查关注长期电力合同、设备折旧、客户集中度以及技术迭代导致资产提前贬值的风险。数据中心不再只是科技投资,也开始进入金融审慎监管范围。

霞光AI总结:AI产业的主要矛盾正从技术能否实现,转向投入与回报能否匹配。当前收入兑现集中在少数高频软件服务,硬件商业化仍需时间,而基础设施投资和融资杠杆已经快速放大。未来行业分化的关键,将是稳定现金流能否赶上资本扩张速度。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
肠癌“源头”已发现,油炸没上榜,第一种很多人可能每天都在吃!

肠癌“源头”已发现,油炸没上榜,第一种很多人可能每天都在吃!

芹姐说生活
2026-10-13 21:39:26
巴黎车展智驾大考,中国车企仅一家敢下场,其他车企为什么不参加?

巴黎车展智驾大考,中国车企仅一家敢下场,其他车企为什么不参加?

一个有灵魂的作者
2026-10-13 10:31:33
直线跳水,现货黄金跌破4100美元大关

直线跳水,现货黄金跌破4100美元大关

中新经纬
2026-10-14 21:06:12
“田馥甄我不配唱歌给你听”登上热搜!

“田馥甄我不配唱歌给你听”登上热搜!

韩小娱
2026-10-14 12:04:51
71岁教皇利奥十四世做完肺手术才知患癌,所有活动紧急取消,引发担忧

71岁教皇利奥十四世做完肺手术才知患癌,所有活动紧急取消,引发担忧

译言
2026-10-14 07:10:59
做完手术人就废了,这5种手术不需要做,别让无知害了自己!

做完手术人就废了,这5种手术不需要做,别让无知害了自己!

健身狂人
2026-10-08 13:49:26
泽连斯基被特朗普“逼宫”后,美媒替他找好了“接班人”

泽连斯基被特朗普“逼宫”后,美媒替他找好了“接班人”

空天力量
2026-10-14 16:38:33
40岁鲁尼现身大变样!暴瘦整牙修鼻梁,否认打减重针

40岁鲁尼现身大变样!暴瘦整牙修鼻梁,否认打减重针

可乐谈情感
2026-10-13 12:32:37
创业板指跌逾2%,全市场下跌个股超4000只

创业板指跌逾2%,全市场下跌个股超4000只

界面新闻
2026-10-14 13:39:09
发现中国一个奇怪的现象:只要有公婆帮扶的家庭,儿媳都忙着回公婆家;而公婆不帮的家庭,儿媳早已断联!

发现中国一个奇怪的现象:只要有公婆帮扶的家庭,儿媳都忙着回公婆家;而公婆不帮的家庭,儿媳早已断联!

心理观察局
2026-08-01 07:10:30
“生了这种闺女,天都塌了!”,家长晒中学女儿,网友看着,称实在夸不出口

“生了这种闺女,天都塌了!”,家长晒中学女儿,网友看着,称实在夸不出口

蝴蝶花雨话教育
2026-10-06 12:51:00
陈赫直播怼鹿晗“你要不要闭嘴”,事后发文:关系好才敢直接调侃,换别人我早客客气气叫老师了

陈赫直播怼鹿晗“你要不要闭嘴”,事后发文:关系好才敢直接调侃,换别人我早客客气气叫老师了

韩小娱
2026-10-13 09:11:23
英媒称闯入动物园老虎区域遭袭死亡男子身份确认:曾是童星,或有心理问题

英媒称闯入动物园老虎区域遭袭死亡男子身份确认:曾是童星,或有心理问题

澎湃新闻
2026-10-14 10:24:14
1975年,19岁小姑娘陈传香,赤手空拳打死一只体长两米五的金钱豹

1975年,19岁小姑娘陈传香,赤手空拳打死一只体长两米五的金钱豹

言过于诚
2026-10-12 22:34:38
长征最绝一战:曾希圣冒充蒋介石发电报,六个师被一纸空文调走

长征最绝一战:曾希圣冒充蒋介石发电报,六个师被一纸空文调走

陈情述论
2026-10-13 20:09:57
中超第28轮!央视CCTV有可能直播2场 分别是山东泰山 北京国安两个主场

中超第28轮!央视CCTV有可能直播2场 分别是山东泰山 北京国安两个主场

80后体育大蜀黍
2026-10-14 22:28:16
新任陕西省委常委李九红已任省委政法委书记

新任陕西省委常委李九红已任省委政法委书记

澎湃新闻
2026-10-14 09:36:26
阿塞拜疆总统阿利耶夫会见王毅

阿塞拜疆总统阿利耶夫会见王毅

界面新闻
2026-10-14 22:53:50
杨瀚森女友社媒晒照:粉红长裙温婉有气质!专注留美陪伴小杨

杨瀚森女友社媒晒照:粉红长裙温婉有气质!专注留美陪伴小杨

林小湜体育频道
2026-10-13 22:55:46
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
2026-10-14 23:48:49
霞光AI实验室 incentive-icons
霞光AI实验室
陪跑AI创业者,服务AI创业全球化
56文章数 3关注度
往期回顾 全部

科技要闻

苹果iPhone Duo完成大模型备案

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

体育要闻

巴萨4比1加拉塔萨雷:亚马尔杀穿地狱

娱乐要闻

胡歌觉得仙剑三很幼稚,忘了来时路?

财经要闻

赫尔曼・西蒙拆解下一轮产业机会

汽车要闻

风格更豪华/座舱更舒适 全新旅行者7上市 燃油版售12.59万起

态度原创

家居
时尚
教育
数码
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

雪莉离开7年后,被改变的女孩们

教育要闻

地大一新生从计算机退学引争议,导员和班主任挽留也无效,本人回应:华科水平,至少读武大,明年冲华五

数码要闻

曝V社正在开发新款Steam Frame OLED VR头显

军事要闻

特朗普称俄乌都同意“能源停火” 俄方回应

无障碍浏览 进入关怀版