前沿实验室既在争取下一次模型能力的突破,也在准备应对下一场安全危机。
10 月 9 日,Axios 报道,OpenAI 和 Anthropic 的高管,已经在推演重大 AI 事故发生之后的情景,为应对风险提前做准备。
他们推演的一个场景是:AI 发起大规模网络攻击,导致金融服务或互联网连接中断,还会波及供水、供电的基础设施。
这些顾虑有现实事件的支撑。7 月,OpenAI 的模型在内部网络安全评估中绕过互联网隔离措施,侵入 Hugging Face 系统。随后,Anthropic 也披露了网络安全评估中的意外事件。
接连出现的 Agent 越界事件,甚至让达里奥・阿莫迪与山姆・奥特曼这两个手都不肯握的竞争对手达成共识:必须更重视安全与对齐,让风险防范能力跟上模型进步的速度。
![]()
相比之下,长期处于追赶状态的国内团队多奉行 “先发展、再治理”,相关工作往往与日常的内容治理、产品风控和合规任务混在一起。
字节跳动大模型团队 Seed 率先打破了惯例。近期,Seed 成立新部门 Alignment & Preparedness,原 Responsible AI 团队及部分 Chat 团队成员将转入新部门,由严林负责,向 Seed 负责人吴永辉汇报。
10 月 14 日,Seed 启动全球招聘,计划招募 10 名顶尖 AGI 研究员,重点研究模型能力发展带来的新型安全问题,探索行业尚无成熟方案的技术方向;同时推动安全研究成果直接接入模型的训练、评估和上线环节,让模型能力在实际产品与服务中安全、可靠地落地。
Seed 同时强调,将在这一方向 “坚决、长期地投入下去”,并为安全与对齐团队提供与前沿模型研究同等规格的资源与支持。毕竟,安全与对齐研究同样高度消耗算力,研究者需要反复测试模型、分析异常行为,并通过大规模训练来验证改进方案。
安全与对齐,模型规模化应用的核心能力
Seed 新成立的 Alignment & Preparedness 部门,从名字上就明确了两个核心任务:
- 对齐(Alignment),是让模型行为与人类意图及安全约束保持一致,重点提升 Agent Model(智能体模型)自主行动时的安全能力;
- 风险准备(Preparedness),则是关注极限场景,提前防范 CBRN(化学、生物、放射与核)等前沿能力可能带来的严重风险。
随着模型能力提升,这些方向投入不足会有什么样的风险,已经有了 Hugging Face 等事件可以参考。
对 Seed 来说,这些风险也在变得更加实际。据多家媒体报道,他们正计划训练超过 5 万亿参数的大模型,继续探索模型能力上限。Seed 内部的判断是,随着模型能力增强、应用场景变得复杂,安全与对齐,已经成为决定模型能否规模化应用的核心能力。
其实 Seed 模型当下支持的业务规模,已经让安全与对齐工作变得紧迫。截至 2026 年 6 月,豆包大模型日均 Token 使用量突破 180 万亿,豆包工作与飞书的融合也在推动模型进入更多企业流程;面向个人用户的豆包 App,每个月有 3.82 亿人使用。
模型覆盖的用户规模达到这个体量,即便某种风险发生的概率很低,也可能会影响到庞大的人群。
早在 2021 年,字节就组建了 Responsible AI 团队。2023 年 10 月,他们发布《大语言模型遗忘》(Large Language Model Unlearning)论文,探索在不从头训练的情况下减少模型的有害输出,同时尽量保留正常能力。这项研究入选《ML Safety Newsletter》当年重要安全论文专题,并被 NeurIPS 2024 接收。
![]()
此后,Seed 持续与外部研究者合作推进相关研究。比如,被 ICLR 2026 接收的任意深度对齐(Any-Depth Alignment,ADA)研究,在生成途中加入特定助手标记,让被诱导续写有害内容的模型重新识别风险,不用修改模型参数就能改善防护效果。
伴随着 Responsible AI 整合进新建制的 Alignment & Preparedness 独立部门,Seed 进一步加码该方向的研究。
前沿研究不仅需要顶尖人才,也需要耐心和资源
按照已披露的规划,Seed 新部门将围绕模型规范、安全评估、对齐训练、防护系统和风险监控持续投入,并加强与外部研究机构、第三方评测机构的公开合作。这意味着,团队需要从训练到应用阶段,持续跟进模型的变化,发现新的问题,再验证解决方法。
一些安全问题可以通过改进训练或防护措施较快解决。但还有一些问题,很难确定完成时间和消耗的资源。
比如一种对齐方法在现有模型上有效,到了能力更强的下一代模型上是否仍然可靠?一次评估没有发现风险,是模型足够安全,还是测试方法没有触及它的薄弱点?
回答这些问题,需要顶级的研究员持续试错。只有最懂模型底层技术的研究员,才可能预判并控制模型的失控风险。
在 OpenAI,历任安全与对齐团队负责人都是顶尖研究者,比如早期的达里奥・阿莫迪、伊利亚・苏茨克维,现在的研究副总裁米娅・格莱斯,也曾主导了 o1 系列模型采用的 “审议对齐” 技术。
Anthropic 成立的原因就是多名 OpenAI 的顶尖研究者认为公司不够重视安全与对齐。当前,其对齐团队由大模型核心对齐技术 RLHF(人类反馈强化学习)的共同发明人简・莱克负责。
安全与对齐的研究,也需要团队和管理者接受不确定性。在多数商业公司高管眼中,侧重防御的基础研究,既无法直接兑现为用户增长,又要在反复试错中吞噬宝贵的算力。这也是很多商业公司没那么在意安全与对齐研究的原因之一。
而 Seed 过去的一系列动作,证明了字节对这类 “长周期、高不确定性” 研究方向的包容。
2025 年 1 月,Seed 推出 Seed Edge 研究计划,瞄准比日常预训练和模型版本迭代更长期、更不确定的 AGI 前沿课题(如推理能力上限、下一代软硬件协同等),为研究员采用更长的评价周期并配置了专属独立算力池。
到现在,这项计划已经孵化出多项有影响力的成果。2025 年 10 月,Seed Edge 研究员发布、开源预训练模型 Ouro,探索 Loop Transformer 架构:让模型重复使用同一组网络层,通过增加计算深度提升能力。近一年后,GPT-6 Astra 使用这一架构的报道出现,这条技术路线才受到更多关注。
![]()
超长程评测集 EdgeBench 则是他们在 Agent 方向的探索成果。研究团队通过 134 个任务、约 3.8 万小时的交互记录,在测试范围内发现了任务表现随交互时间变化的规律,确立了一种全新的环境学习 Scaling Law,帮助研究者量化投入更多交互时间能够带来多少能力提升。据了解,OpenAI 等团队也接入了该评测集。
前不久,Edge 团队推出 Seed STEM 科学家计划,面向数学、物理、化学、生物、材料等领域,邀请 100 位优秀学者围绕真实科研难题开展合作,并提供算力、专业 AI 研究团队支持和有竞争力的薪酬。
在这个项目的支持下,近期,南开大学讲席教授郭少明带领团队,与 Seed 完成三维粘性挂谷猜想的形式化验证,将已有证明转化为计算机可核验的代码。项目共完成约 180 万行 Lean 代码,约九成由 Seed-Prover 生成。这项结果是今年菲尔兹奖得主王虹的代表性成果 —— 完整三维挂谷猜想证明的关键环节。
![]()
- https://github.com/M32026/3d-sticky-kakeya
类似的合作计划在海外前沿实验室普遍存在,但在国内却很少见,探索主要面向尚无确定答案的问题,成果需要用大量算力证明或检验,更难兑现成商业价值。
字节跳动的经营规模,是 Seed 投入长期研究的基础。根据 The Information 报道,2026 年上半年,字节跳动营收同比增长约 30%,达到约 1200 亿美元,体量超过 Meta;受 AI 投入增加影响,净利润同比小幅下降,还有约 200 亿美元。
这不仅说明字节愿意大力投入 AI,还说明它有同行没有的底气:可以持续投入高价值的前沿技术探索。
Seed 对 AGI 的目标和决心,可能被低估了
在国内的大模型行业,Seed 所在的位置,可能是张力最大的地方。
火山引擎、豆包工作、豆包 App 等业务迅速推进,让他们研发的模型直接面对庞大的用户群体、复杂的使用场景和激烈的竞争。下一代模型能不能及时上线,成本能不能降低,以及能力能迅速提升、跟上全球第一梯队,都是需要 Seed 团队回答的实际问题。
但他们选择不走捷径。今年 8 月,字节创始人张一鸣在内部交流中明确提出,反对通过蒸馏对手模型的方式追赶,并表示可以接受阶段性的落后。这样的决断在国内同样找不到第二家。
这种支持独立探索的取向,也让 Seed 在前沿技术探索上的深度与广度远超外界的想象。他们在 2024 年发布的超连接(Hyper-Connections,HC)研究,探索深层网络中不同层之间传递和组合信息的新方式。一年后,成为 DeepSeek 推出的 mHC 方案、混元团队的 iHC 方案的基础。
2025 年初公开的 Over-Encoding 研究,探索通过扩大输入端的查找表,以较低的额外计算开销改善模型表现。同样是一年后,DeepSeek 发布 Engram 研究论文,引用并比较了这一方法。类似的技术,如今已经用在了 DeepSeek、Qwen 的新模型中。
前段时间伴随着 Loop Transformer 架构得到关注,Seed 相关的工作成为焦点之一。不少研究者开始讨论:Seed 的研究能力远远被低估了
![]()
从他们现在有关安全与对齐的一系列动作来看,字节 Seed 对 AGI 的目标和决心,也可能被低估了。
正如他们在招聘海报上所写,AGI 不只在于获得更高的智能水平,更在于 “让先进智能真正、持续地服务于人”。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.