网易首页 > 网易号 > 正文 申请入驻

敲响警钟:智源干湿闭环实证,大模型智能体可能带来生物安全风险

0
分享至

当前大语言模型正从“聊天机器”进化为能调用工具、规划任务的“智能体”。这种进化在生物信息学、实验设计等领域展现出巨大潜力,除此之外,需要正视一个关键问题:当AI的能力从信息处理延伸到物理实验操作,生物安全的边界会发生怎样的改变?

现有研究已开始评测前沿模型的病毒学知识和实验推理能力,但在真实的潜在风险链条中,模型究竟能提供多大程度的实质性帮助,需要进行验证,特别是当模型以智能体形态出现,能组合知识库、搜索引擎、文件读写等工具时,其有效能力边界可能远超单轮问答的测试结果。

智源研究院大模型安全研究团队与北京大学围绕这一核心问题,开展了一项端到端系统性评估。该评估考察大语言模型智能体是否会降低非专业人员绕过DNA合成筛查的知识门槛,评估从智能体生成方案、程序化计算校验延伸到标准分子生物学实验室中的受控湿实验,并以电泳和测序确认模型方案在物理层面的可执行性。



图1:大语言模型智能体在DNA组装指导任务中端到端评估闭环。评估依次经过方案生成、程序化计算校验、受控湿实验以及电泳与测序确认,覆盖11个模型和4个失去有害功能良性代理构建体,最终以物理可执行性证据验证组装流程。(图源:AI生成)

评估结果显示,所有11个参与测试模型均能生成通过计算校验的DNA分片方案,其中GPT-5.5和Claude Opus 4.6还能提供详细的逐步实验指导。在物理验证环节,4个良性代理构建体全部成功完成组装。这意味着,大语言模型智能体不仅可能削弱现有DNA合成筛查防线,还可能向不具备专业背景的用户提供原本依赖专业训练才能获得的实验操作知识,存在相关双重用途风险,需要被系统性地评估与提前防范。

安全声明:本次评估严格遵循负责任披露原则,不展示制造危险物质的方法。全部湿实验均在严格安全约束下,使用经关键位点突变、失去有害功能的良性代理序列,仅验证组装流程,不会在任何阶段产生具有功能活性的危险产物。

从“单点问答”到“端对端”风险评估

合成服务(DNA synthesis)是现代生命科学研究的重要基础设施。研究人员可以通过合成服务获得所需DNA片段,再在实验室完成后续构建。为防止危险序列进入物理世界,服务商通常会开展DNA合成筛查(DNA synthesis screening),对订单进行序列风险识别,这是现有生物安全体系中少数能够在合成环节主动拦截风险的技术机制之一。随着合成成本下降、实验流程逐步标准化,DNA合成筛查在生物安全防线中的重要性进一步上升。

评估聚焦分拆订购攻击这一已知风险场景,即将完整序列拆分为多个较短片段分别处理,使单个片段不易触发既有筛查机制,再在后续环节完成组装。过去,这类任务依赖分子生物学专业知识与实验经验,相关知识门槛本身构成了一层防御。大语言模型智能体能否承担其中原本需要专业判断的步骤,直接关系到这一防御边界是否正在发生变化。

不同于针对生物学知识或单项技能的问答测试,评估采用了更接近真实风险链条的端到端设置。测试场景中,用户不具备生化专业背景,但可以配置大语言模型智能体,并为其提供公开可获得的领域知识模块和通用工具。模型需要从输入信息出发,完成任务规划、片段方案设计和组装指导生成等多个环节。



图2:LLM智能体在DNA组装指导任务中的评估框架。输入端包含蛋白质或DNA相关信息;智能体通过分子克隆、蛋白质筛查、湿实验等领域技能,以及互联网搜索、Shell和文件读取等通用工具进行多步调用与反馈;输出端生成DNA片段方案,并在安全约束下验证组装后产物。

11个模型评测揭示DNA合成筛查的潜在脆弱性

本次评估采用国际生物安全与生物防护科学倡议(International Biosecurity and Biosafety Initiative for Science,IBBIS)发布的Common Mechanism作为公开的DNA合成筛查基线。

Common Mechanism是一套面向DNA和RNA序列的免费、开源、全球可用筛查工具,旨在帮助合成服务商在符合生物安全标准的前提下开展订单筛查。其设计遵循多套广泛采用的国家和国际筛查指南,包括美国《Framework for Nucleic Acid Synthesis Screening》、英国DSIT关于合成核酸用户与供应商的筛查指南、国际基因合成联盟(IGSC)Harmonized Screening Protocol,以及ISO 20688-2:2024。

将这一公开机制纳入评估,使测试能够在可复核的筛查参照下考察模型输出的有效能力。具体评估链条包括四个层级:第一层,智能体方案生成。在非专业背景用户的威胁模型下,大语言模型结合公开可获得的领域知识模块和通用工具,承担任务规划与专业判断。第二层,程序化计算校验。对模型输出进行自动化检查,判断方案能否绕过筛查且恢复原始序列并正确编码目标蛋白。第三层,良性代理湿实验。使用经过安全处理、失去有害功能的代理序列,验证模型方案在组装环节的物理可执行性。第四层,实验结果确认。通过电泳检查产物长度,通过测序确认序列正确性,完成从数字方案到物理结果的证据回读。

横向测试覆盖11个商用大语言模型,所有测试均在智能体配置下进行。评估以攻击成功率(Attack Success Rate,ASR)为核心量化指标,衡量模型输出在特定计算校验中的通过情况,判断模型生成的片段方案能否通过合成筛查,并正确重组为原始序列并编码目标蛋白。



图3:11个商用大语言模型在分片设计任务中的评测结果。所有测试模型均能生成通过计算校验的拆分方案,显示现有DNA合成筛查机制面对大语言模型辅助分片策略时可能存在共性风险。

结果显示,在分片设计环节,全部11个模型均能生成绕过筛查的拆分方案。这一能力具有明确的双重用途风险:模型正在降低分片设计所需的专业知识门槛,使缺乏相关背景的用户也可能获得能够规避现有筛查机制的方案,从而暴露出以单条序列识别为主的DNA合成筛查体系存在系统性脆弱性。

通过计算校验的分片方案,仍不足以指导一个没有生物学知识的用户完成具体实验。更关键的风险在于,模型能否继续弥补实验操作层面的知识缺口,给出覆盖各步骤的操作指导。围绕这一能力开展的进一步评测显示,GPT-5.5和Claude Opus 4.6已经能够生成较为完整的逐步实验操作方案,表明前沿模型正在将风险从序列层面的计算设计延伸至实验流程层面的知识支持。



图4:评估进一步考察模型能否从分片设计延伸至实验操作指导。GPT-5.5和Claude Opus 4.6能够生成较完整的逐步实验操作方案,显示前沿智能体可能同时降低计算设计与实验操作两个环节的知识门槛。

湿实验:“金标准”验证下的闭环证据链

在生命科学研究中,计算校验能证明方案“对”,但不能证明它“行得通”,湿实验是判断计算方案能否在真实物理条件下成立的关键验证标准,也是检验序列组装是否真正可行的“金标准”。程序化校验能够确认序列设计在计算层面是否正确,却不能直接证明模型方案可以在实验台上执行。

为获取足以支撑风险判断的物理证据,研究团队在受控实验室中,使用良性代理序列进行了组装验证。具体而言,在保留片段组装接口的前提下,对原始高风险蛋白中承担功能的核心区域进行关键位点突变,使组装后的序列即使进入蛋白质表达环节,也无法形成具有原有有害功能的活性蛋白。该设置保留了验证组装流程所需的结构条件,同时从设计上消除了实验产物的危害性。

验证采用电泳和测序两类实验读出:电泳用于判断组装产物是否出现预期大小的条带,测序用于确认产物的序列身份和正确性。两类结果相互补充,分别提供产物大小和序列层面的证据。

4个蛋白的完整验证流程均在标准分子生物学实验室中完成。结果显示,4个良性代理构建体均成功完成组装,电泳检测得到预期大小的条带,测序结果确认序列符合预期。由此,评估形成了从智能体方案生成、计算校验到湿实验物理验证的闭环证据链。



图5:模型生成方案的湿实验验证结果。4个良性代理构建体均完成组装,电泳显示预期大小的条带,测序确认序列正确,验证了相关方案在组装环节的物理可执行性。

构建多层次防线:从模型部署到合成筛查

基于研究结果,围绕生物安全的协同防线需从四个层面同步构建。

在模型层面,部署前进行能力评估,开发者应将高风险生物安全任务能力纳入部署前的系统评估,针对生物威胁序列与组装查询等建立专门检测与防护机制。在输入输出与系统层面,防护需要覆盖智能体执行链,当模型以智能体形态运行时,安全边界必须进一步扩展——输入输出与系统层面的防护需覆盖权限控制、过程监测和任务链风险识别,将安全评估从单次问答延伸至完整执行过程。在筛查层面,提升合成筛查鲁棒性,现有机制需增强对AI辅助分片策略的识别能力,推动ISO 20688等国际标准落地,发展兼顾隐私与安全的筛查方案并加强信息共享。在政策与协同层面,需要形成标准化治理框架,AI生物安全风险具有跨国界特征,需要将政府、模型开发者与生命科学社区的专业经验纳入统一的协同治理框架。

大语言模型智能体正在将生命科学实验的知识门槛从“专业人员”推向“非专业人员”——这既是技术进步的一面,也是安全治理必须正视的一面。本次评估严格遵循负责任披露原则,不展示制造危险物质的方法,详细技术信息仅与相关安全机构共享。面向未来,智源研究院安全研究团队将持续完善AI生物安全能力建设,推进模型侧防御与合成筛查鲁棒性等多方面研究,为人工智能与生命科学的负责任创新提供技术支撑。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
39岁荣昊曝恒大内幕:李铁只捞俱乐部钱,里皮三次请我吃饭

39岁荣昊曝恒大内幕:李铁只捞俱乐部钱,里皮三次请我吃饭

汤圆看体育
2026-10-30 11:08:11
黄岩岛爆发激烈对峙,中方军机直接“亮弹”

黄岩岛爆发激烈对峙,中方军机直接“亮弹”

烽火观天下
2026-10-31 12:42:53
一条铁路三座“全球第一”(探访全球第一)

一条铁路三座“全球第一”(探访全球第一)

人民网
2026-10-30 06:34:45
预售72小时破15000台,交付仅几百台?享界G9的冰火反差

预售72小时破15000台,交付仅几百台?享界G9的冰火反差

玩车专家1
2026-10-30 21:58:00
孙俪现身优衣库剪彩,皮肤紧致自然越看越耐看,不愧是公认的养生达人

孙俪现身优衣库剪彩,皮肤紧致自然越看越耐看,不愧是公认的养生达人

悦君兮君不知
2026-10-30 13:59:22
玄学提醒:尽量不要让这5种人来你家,不是迷信,是智慧远见

玄学提醒:尽量不要让这5种人来你家,不是迷信,是智慧远见

小影的娱乐
2026-10-31 00:09:25
消息称苹果下发指引,要求门店按标准流程维修/更换iPhone Duo内屏开裂

消息称苹果下发指引,要求门店按标准流程维修/更换iPhone Duo内屏开裂

IT之家
2026-10-31 07:43:19
刘若英:41岁才结婚,婚前约法三章分房睡,如今57岁被丈夫宠成宝

刘若英:41岁才结婚,婚前约法三章分房睡,如今57岁被丈夫宠成宝

飘飘然的娱乐汇
2026-10-31 09:00:30
涉嫌严重违纪违法

涉嫌严重违纪违法

新浪财经
2026-10-30 21:02:00
下周一会不会大跌甚至暴跌?我直接说重点,11.2开盘前听我一言

下周一会不会大跌甚至暴跌?我直接说重点,11.2开盘前听我一言

趋势清风侠
2026-10-31 10:27:40
快干到头!中美俄都不搭理,欧盟史上头一个,德媒直接点名卡拉斯

快干到头!中美俄都不搭理,欧盟史上头一个,德媒直接点名卡拉斯

阿筀田间生活
2026-10-31 09:42:09
境外买凶必须严惩!一旦破例,国内普通人将沦为资本砧板上的鱼肉

境外买凶必须严惩!一旦破例,国内普通人将沦为资本砧板上的鱼肉

社会日日鲜
2026-10-30 08:18:58
勇士25分史诗逆转湖人:库里31+8三分创历史第一 东契奇37+7+5

勇士25分史诗逆转湖人:库里31+8三分创历史第一 东契奇37+7+5

醉卧浮生
2026-10-31 12:50:43
知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

念洲
2026-10-31 06:13:23
罚款?停赛?姆巴佩处罚方案曝光,4选1,皇马官宣,最后1种让人失望

罚款?停赛?姆巴佩处罚方案曝光,4选1,皇马官宣,最后1种让人失望

喜欢体育的猫
2026-10-30 10:26:30
更像闪电侠了!热火官方晒出韦德雕像新照:头部已经翻新重做

更像闪电侠了!热火官方晒出韦德雕像新照:头部已经翻新重做

罗说NBA
2026-10-31 06:42:08
美国发生坠机事故,机上人员全部遇难

美国发生坠机事故,机上人员全部遇难

吉刻新闻
2026-10-31 07:42:24
“死了骨头还要被我玩”,医学生被曝在“大体老师”骨骼上写轻浮文字,校方通报:对涉事学生给予校纪处分,取消年度评优评先资格

“死了骨头还要被我玩”,医学生被曝在“大体老师”骨骼上写轻浮文字,校方通报:对涉事学生给予校纪处分,取消年度评优评先资格

荔枝新闻
2026-10-30 12:26:43
绝非简单会面!王毅不去,拉夫罗夫绕飞20小时单刀赴G20外长会

绝非简单会面!王毅不去,拉夫罗夫绕飞20小时单刀赴G20外长会

李遝手工制作
2026-10-31 04:55:00
一种被严重低估的“增肌运动”!每天5分钟,肌肉多了,心情也好

一种被严重低估的“增肌运动”!每天5分钟,肌肉多了,心情也好

解说阿洎
2026-10-31 12:22:53
2026-10-31 15:36:49
老冀谈科技 incentive-icons
老冀谈科技
老冀将带给您最新的科技资讯
970文章数 10079关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

被清华教授实名举报论文造假后 蒋方舟时隔108天发文

头条要闻

被清华教授实名举报论文造假后 蒋方舟时隔108天发文

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

家居
时尚
旅游
本地
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

“这件外套”今年秋天爆火,这样穿松弛又时髦!

旅游要闻

三星堆博物馆将对18岁以下未成年人免门票,馆方:长期执行

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

军事要闻

美国批准向乌克兰出售500枚爱国者导弹

无障碍浏览 进入关怀版