网易首页 > 网易号 > 正文 申请入驻

敲响警钟:智源干湿闭环实证,大模型智能体可能带来生物安全风险

0
分享至

当前大语言模型正从“聊天机器”进化为能调用工具、规划任务的“智能体”。这种进化在生物信息学、实验设计等领域展现出巨大潜力,除此之外,需要正视一个关键问题:当AI的能力从信息处理延伸到物理实验操作,生物安全的边界会发生怎样的改变?

现有研究已开始评测前沿模型的病毒学知识和实验推理能力,但在真实的潜在风险链条中,模型究竟能提供多大程度的实质性帮助,需要进行验证,特别是当模型以智能体形态出现,能组合知识库、搜索引擎、文件读写等工具时,其有效能力边界可能远超单轮问答的测试结果。

智源研究院大模型安全研究团队与北京大学围绕这一核心问题,开展了一项端到端系统性评估。该评估考察大语言模型智能体是否会降低非专业人员绕过DNA合成筛查的知识门槛,评估从智能体生成方案、程序化计算校验延伸到标准分子生物学实验室中的受控湿实验,并以电泳和测序确认模型方案在物理层面的可执行性。



图1:大语言模型智能体在DNA组装指导任务中端到端评估闭环。评估依次经过方案生成、程序化计算校验、受控湿实验以及电泳与测序确认,覆盖11个模型和4个失去有害功能良性代理构建体,最终以物理可执行性证据验证组装流程。(图源:AI生成)

评估结果显示,所有11个参与测试模型均能生成通过计算校验的DNA分片方案,其中GPT-5.5和Claude Opus 4.6还能提供详细的逐步实验指导。在物理验证环节,4个良性代理构建体全部成功完成组装。这意味着,大语言模型智能体不仅可能削弱现有DNA合成筛查防线,还可能向不具备专业背景的用户提供原本依赖专业训练才能获得的实验操作知识,存在相关双重用途风险,需要被系统性地评估与提前防范。

安全声明:本次评估严格遵循负责任披露原则,不展示制造危险物质的方法。全部湿实验均在严格安全约束下,使用经关键位点突变、失去有害功能的良性代理序列,仅验证组装流程,不会在任何阶段产生具有功能活性的危险产物。

从“单点问答”到“端对端”风险评估

合成服务(DNA synthesis)是现代生命科学研究的重要基础设施。研究人员可以通过合成服务获得所需DNA片段,再在实验室完成后续构建。为防止危险序列进入物理世界,服务商通常会开展DNA合成筛查(DNA synthesis screening),对订单进行序列风险识别,这是现有生物安全体系中少数能够在合成环节主动拦截风险的技术机制之一。随着合成成本下降、实验流程逐步标准化,DNA合成筛查在生物安全防线中的重要性进一步上升。

评估聚焦分拆订购攻击这一已知风险场景,即将完整序列拆分为多个较短片段分别处理,使单个片段不易触发既有筛查机制,再在后续环节完成组装。过去,这类任务依赖分子生物学专业知识与实验经验,相关知识门槛本身构成了一层防御。大语言模型智能体能否承担其中原本需要专业判断的步骤,直接关系到这一防御边界是否正在发生变化。

不同于针对生物学知识或单项技能的问答测试,评估采用了更接近真实风险链条的端到端设置。测试场景中,用户不具备生化专业背景,但可以配置大语言模型智能体,并为其提供公开可获得的领域知识模块和通用工具。模型需要从输入信息出发,完成任务规划、片段方案设计和组装指导生成等多个环节。



图2:LLM智能体在DNA组装指导任务中的评估框架。输入端包含蛋白质或DNA相关信息;智能体通过分子克隆、蛋白质筛查、湿实验等领域技能,以及互联网搜索、Shell和文件读取等通用工具进行多步调用与反馈;输出端生成DNA片段方案,并在安全约束下验证组装后产物。

11个模型评测揭示DNA合成筛查的潜在脆弱性

本次评估采用国际生物安全与生物防护科学倡议(International Biosecurity and Biosafety Initiative for Science,IBBIS)发布的Common Mechanism作为公开的DNA合成筛查基线。

Common Mechanism是一套面向DNA和RNA序列的免费、开源、全球可用筛查工具,旨在帮助合成服务商在符合生物安全标准的前提下开展订单筛查。其设计遵循多套广泛采用的国家和国际筛查指南,包括美国《Framework for Nucleic Acid Synthesis Screening》、英国DSIT关于合成核酸用户与供应商的筛查指南、国际基因合成联盟(IGSC)Harmonized Screening Protocol,以及ISO 20688-2:2024。

将这一公开机制纳入评估,使测试能够在可复核的筛查参照下考察模型输出的有效能力。具体评估链条包括四个层级:第一层,智能体方案生成。在非专业背景用户的威胁模型下,大语言模型结合公开可获得的领域知识模块和通用工具,承担任务规划与专业判断。第二层,程序化计算校验。对模型输出进行自动化检查,判断方案能否绕过筛查且恢复原始序列并正确编码目标蛋白。第三层,良性代理湿实验。使用经过安全处理、失去有害功能的代理序列,验证模型方案在组装环节的物理可执行性。第四层,实验结果确认。通过电泳检查产物长度,通过测序确认序列正确性,完成从数字方案到物理结果的证据回读。

横向测试覆盖11个商用大语言模型,所有测试均在智能体配置下进行。评估以攻击成功率(Attack Success Rate,ASR)为核心量化指标,衡量模型输出在特定计算校验中的通过情况,判断模型生成的片段方案能否通过合成筛查,并正确重组为原始序列并编码目标蛋白。



图3:11个商用大语言模型在分片设计任务中的评测结果。所有测试模型均能生成通过计算校验的拆分方案,显示现有DNA合成筛查机制面对大语言模型辅助分片策略时可能存在共性风险。

结果显示,在分片设计环节,全部11个模型均能生成绕过筛查的拆分方案。这一能力具有明确的双重用途风险:模型正在降低分片设计所需的专业知识门槛,使缺乏相关背景的用户也可能获得能够规避现有筛查机制的方案,从而暴露出以单条序列识别为主的DNA合成筛查体系存在系统性脆弱性。

通过计算校验的分片方案,仍不足以指导一个没有生物学知识的用户完成具体实验。更关键的风险在于,模型能否继续弥补实验操作层面的知识缺口,给出覆盖各步骤的操作指导。围绕这一能力开展的进一步评测显示,GPT-5.5和Claude Opus 4.6已经能够生成较为完整的逐步实验操作方案,表明前沿模型正在将风险从序列层面的计算设计延伸至实验流程层面的知识支持。



图4:评估进一步考察模型能否从分片设计延伸至实验操作指导。GPT-5.5和Claude Opus 4.6能够生成较完整的逐步实验操作方案,显示前沿智能体可能同时降低计算设计与实验操作两个环节的知识门槛。

湿实验:“金标准”验证下的闭环证据链

在生命科学研究中,计算校验能证明方案“对”,但不能证明它“行得通”,湿实验是判断计算方案能否在真实物理条件下成立的关键验证标准,也是检验序列组装是否真正可行的“金标准”。程序化校验能够确认序列设计在计算层面是否正确,却不能直接证明模型方案可以在实验台上执行。

为获取足以支撑风险判断的物理证据,研究团队在受控实验室中,使用良性代理序列进行了组装验证。具体而言,在保留片段组装接口的前提下,对原始高风险蛋白中承担功能的核心区域进行关键位点突变,使组装后的序列即使进入蛋白质表达环节,也无法形成具有原有有害功能的活性蛋白。该设置保留了验证组装流程所需的结构条件,同时从设计上消除了实验产物的危害性。

验证采用电泳和测序两类实验读出:电泳用于判断组装产物是否出现预期大小的条带,测序用于确认产物的序列身份和正确性。两类结果相互补充,分别提供产物大小和序列层面的证据。

4个蛋白的完整验证流程均在标准分子生物学实验室中完成。结果显示,4个良性代理构建体均成功完成组装,电泳检测得到预期大小的条带,测序结果确认序列符合预期。由此,评估形成了从智能体方案生成、计算校验到湿实验物理验证的闭环证据链。



图5:模型生成方案的湿实验验证结果。4个良性代理构建体均完成组装,电泳显示预期大小的条带,测序确认序列正确,验证了相关方案在组装环节的物理可执行性。

构建多层次防线:从模型部署到合成筛查

基于研究结果,围绕生物安全的协同防线需从四个层面同步构建。

在模型层面,部署前进行能力评估,开发者应将高风险生物安全任务能力纳入部署前的系统评估,针对生物威胁序列与组装查询等建立专门检测与防护机制。在输入输出与系统层面,防护需要覆盖智能体执行链,当模型以智能体形态运行时,安全边界必须进一步扩展——输入输出与系统层面的防护需覆盖权限控制、过程监测和任务链风险识别,将安全评估从单次问答延伸至完整执行过程。在筛查层面,提升合成筛查鲁棒性,现有机制需增强对AI辅助分片策略的识别能力,推动ISO 20688等国际标准落地,发展兼顾隐私与安全的筛查方案并加强信息共享。在政策与协同层面,需要形成标准化治理框架,AI生物安全风险具有跨国界特征,需要将政府、模型开发者与生命科学社区的专业经验纳入统一的协同治理框架。

大语言模型智能体正在将生命科学实验的知识门槛从“专业人员”推向“非专业人员”——这既是技术进步的一面,也是安全治理必须正视的一面。本次评估严格遵循负责任披露原则,不展示制造危险物质的方法,详细技术信息仅与相关安全机构共享。面向未来,智源研究院安全研究团队将持续完善AI生物安全能力建设,推进模型侧防御与合成筛查鲁棒性等多方面研究,为人工智能与生命科学的负责任创新提供技术支撑。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
纯钛杯、纯钛餐具的第一批受害者出现了…

纯钛杯、纯钛餐具的第一批受害者出现了…

新住家居
2026-10-24 18:06:53
实不相瞒,我感觉一个小小的台湾战争,极有可能成为中国的世纪之战

实不相瞒,我感觉一个小小的台湾战争,极有可能成为中国的世纪之战

二大爷观世界
2026-10-28 18:19:10
为什么有钱后一定要低调?网友:我爸8000万身家,几年负债1000万

为什么有钱后一定要低调?网友:我爸8000万身家,几年负债1000万

夜深爱杂谈
2026-08-30 20:56:54
“死了骨头还要被我玩”,医学生被曝在“大体老师”骨骼上写轻浮文字,此前还有学生用大体老师头骨摆拍

“死了骨头还要被我玩”,医学生被曝在“大体老师”骨骼上写轻浮文字,此前还有学生用大体老师头骨摆拍

大风新闻
2026-10-30 08:40:03
1980年,邓小平说:毛主席的错误,要毫不含糊地批评,但要实事求是

1980年,邓小平说:毛主席的错误,要毫不含糊地批评,但要实事求是

帝哥说史
2026-10-11 16:14:43
2026年前三季度广东各市GDP 深圳破3万亿 佛山成唯一负增长

2026年前三季度广东各市GDP 深圳破3万亿 佛山成唯一负增长

天命生商
2026-10-31 09:57:00
张学良被软禁半世纪,为何说毛主席有一本事蒋介石比不了

张学良被软禁半世纪,为何说毛主席有一本事蒋介石比不了

纪史行者
2026-10-31 09:57:38
“打广告连一分钱都不想掏?”号称500万签约小小徐的集团被扒:注册资本仅200万,把新郎架在火上烤!

“打广告连一分钱都不想掏?”号称500万签约小小徐的集团被扒:注册资本仅200万,把新郎架在火上烤!

王老师你还好吗
2026-10-31 12:59:22
纳指跌超700点,英伟达市值一夜蒸发1.4万亿元,苹果市值重回全球第一,英特尔暴跌超28%,美股存储芯片重挫

纳指跌超700点,英伟达市值一夜蒸发1.4万亿元,苹果市值重回全球第一,英特尔暴跌超28%,美股存储芯片重挫

21世纪经济报道
2026-10-31 06:57:49
伊朗新领袖终于行动!却接连召见三大强人,真正的权力布局开始浮出

伊朗新领袖终于行动!却接连召见三大强人,真正的权力布局开始浮出

爱吃醋的猫咪
2026-10-31 16:39:15
日本海上自卫队确认了:日本一自卫队队员因试图向一名小学生勒索30万日元(约合人民币12600元)现金而被开除军籍

日本海上自卫队确认了:日本一自卫队队员因试图向一名小学生勒索30万日元(约合人民币12600元)现金而被开除军籍

吉刻新闻
2026-10-29 13:43:17
人口迁移大势已定!大量打工人离开深圳,扎堆涌向这三座城市

人口迁移大势已定!大量打工人离开深圳,扎堆涌向这三座城市

冷夜说
2026-10-31 04:43:21
改规则后,库里联盟第一!

改规则后,库里联盟第一!

左右为篮
2026-10-31 03:31:26
好奇查了一下姜妍和菅纫姿,真的被吓到了

好奇查了一下姜妍和菅纫姿,真的被吓到了

老吴教育课堂
2026-10-31 10:30:46
停牌!002129,重大资产重组

停牌!002129,重大资产重组

中国基金报
2026-10-31 09:21:18
马斯克要给地球打伞降温!《自然》:5000颗卫星7000万吨,或降温1℃

马斯克要给地球打伞降温!《自然》:5000颗卫星7000万吨,或降温1℃

徐德文科学频道
2026-10-30 01:10:58
中期选举还未到,特朗普就“跛脚”了

中期选举还未到,特朗普就“跛脚”了

山河路口
2026-10-30 19:13:33
泽连斯基公开发文表示:感谢特朗普总统批准出售“爱国者”导弹,我们将扩充乌克兰远程打击部队,确保无人机和导弹能打到俄罗斯更深处领土

泽连斯基公开发文表示:感谢特朗普总统批准出售“爱国者”导弹,我们将扩充乌克兰远程打击部队,确保无人机和导弹能打到俄罗斯更深处领土

吉刻新闻
2026-10-31 14:23:36
金价大跌 创4个月来新低

金价大跌 创4个月来新低

闪电新闻
2026-10-31 11:03:14
果然工作留痕的含金量还在上升,网友:关键时候可以保命

果然工作留痕的含金量还在上升,网友:关键时候可以保命

夜深爱杂谈
2026-10-30 17:03:14
2026-10-31 17:31:00
老冀谈科技 incentive-icons
老冀谈科技
老冀将带给您最新的科技资讯
970文章数 10079关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

男子陆续典当1980克金条一直不赎回 老板起疑查验傻眼

头条要闻

男子陆续典当1980克金条一直不赎回 老板起疑查验傻眼

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

房产
旅游
手机
公开课
军事航空

房产要闻

单月杀进全省前十!崖州卖最火的盘,产品真能打

旅游要闻

山东知名景区9月传播影响力指数出炉,这个赏秋胜地飙升65名

手机要闻

苹果官网上线Apple智能国行版页面!兼容设备表公布:iPhone 15 Pro以上都能用

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国批准向乌克兰出售500枚爱国者导弹

无障碍浏览 进入关怀版