网易首页 > 网易号 > 正文 申请入驻

北大校友一道题考倒了 GPT 和 Gemini,只有 Claude 答上来了

0
分享至

今晚 Anthropic 要在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它刚发了 Claude Fable 5.2,这几天不管打开哪个群,聊的都是它写代码又强了多少,这个模型的定价贵不贵。


APPSO 是昨天在 Hacker News 首页刷到这篇博客的。它不聊代码,也不聊股价,标题就一句话,「Claude was trained on protein sequences at scale」。翻译过来意思是,Claude 在训练的时候大量读过蛋白质序列。

帖子 165 分,71 条评论,在那天的首页上不算最热,可点进去看了一番,我们觉得它比上市本身有意思。


作者 Xinming Tu 的履历有点意思,本科在北大,生物和计算机一起读的,后来去华盛顿大学读计算机博士,今年是最后一年。

他平时的工作就是出题考 AI,考的都是生物领域的内容。和他一起做的 Leo Tianlai Chen 在哈佛医学院。

他们做的事 APPSO 用一句话可以大致概括。

去数据库里翻一批压根没人研究过的蛋白质,只给开头,让 22 个模型往下接。

而能接得上的只有 Claude。


一道绕开论文的题,考出了什么?

起因是 GPT 这类模型最近在蛋白质题目上分数不低。

有人拿 GPT-6 Astra 给一种叫 SOD1 的蛋白质的变体排序,结果和专门的蛋白质模型 ESM-2 差不多。Xinming Tu 想知道这分数是怎么来的,是模型真读过 UniProt 这样的蛋白质数据库,还是只读过论文里讲蛋白质的那些文字。

蛋白质是 20 种氨基酸连成的一条长链,每种氨基酸用一个字母代表,所以一条蛋白质写下来就是一长串字母,比如 MRSGGQPLHPQ 这样往下排,少则一百多个,多的话要好几百个。

拿有名的蛋白质出题测不出来。绿色荧光蛋白 GFP 的序列在无数论文里印过,他在博客里写,大多数前沿模型都能把它背出来。


于是他专挑没人写的,从细菌和古菌里选了 668 条,分属 167 个连功能都还不知道的蛋白家族。每个家族都没有解析过的结构,论文最多 3 篇,其中 128 个家族一篇都没有。


题目是这样出的。把一条蛋白质从中间切开,前半段发给模型,附一句话,「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」然后只看第一个字母对不对。每条蛋白质切 5 个位置,一共 3340 道题。

光这样还不行。

20 种氨基酸出现的频率本来就不一样,模型哪怕完全不认识这条蛋白质,照着前面的字母比例瞎猜也能蒙中一些。

所以同一条蛋白质他还要再问一遍,这次把字母顺序全部打乱。字母一个没少,顺序没了,只会蒙的模型两次得分应该一样。

两次测试之间的差值,才是它真认识这条序列的部分。


先看 Claude。Fable 5.2 拿到真序列,下一个字母能猜对 54%,一半多一点。同一条序列打乱了再给它,只剩 9%。Opus 5.5 弱一截,真序列 34.9%,打乱后 7.5%。

20 种氨基酸里纯蒙一个,命中率是 5%。打乱后猜对的 9% 和 7.5% 比纯蒙高不了多少。

可真序列能猜对 54% 就完全是另一回事了。

博客里把这两次的差当成模型对序列的了解程度,Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有的比较,用的都是这个差值。

它还不只是猜对下一个字母。题目让它一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对了。换成打乱的序列,这种事一回都没发生过。

这说明 Fable 是真的会这类问题,而不是瞎猫碰死耗子。

其他家呢?他在图里把 22 个模型从上到下排了一列,Claude 以外的点全挤在零旁边。GPT-6.2 Sol 是 2.4,已经算高的,Gemini 4 Carbon 只有 0.9。

国产的几个里 Qwen 3.8 最高,1.9,DeepSeek V4.1 Flash 是 1.4,Kimi 和 GLM 都是 1.2。


通用模型赢了生物专用 AI

有意思的是,Claude 自己也不是最开始就会预测蛋白质序列。

前些年 Opus 4.5 和 4.6 的差值是 1.9 和 0.9,跟别家基本没啥区别。

Opus 4.7 那一代模型看起来像是梦开始的地方,指标突然变成 8.9 了,之后就开始猛涨。

之后 Fable 5.1 到 14.9,Opus 5.5 直接翻倍干到 27.4,Fable 5.2 几乎再翻一倍,到 45.1。


如果只是碰巧读到过几条序列,不会这样一级一级往上走。APPSO 更愿意相信的解释是,Anthropic 每做一代新模型,都往训练数据里多放了一些蛋白质相关的数据。

用来和 Claude 作比较的还有生物圈自己的工具。

研究蛋白质的人平时用一种叫蛋白质语言模型的东西,它只用这种蛋白质序列进行训练,一句人话都不会说。

Xinming Tu 找了他能跑起来的最强的两个。ProGen3-3B 的差值是 32.5,ProtGPT3-10B 有 100 亿参数,是公开的里面最大的,27.7。Opus 5.5 跟后者几乎一样,Fable 5.2 则比两个都高出十几个百分点。


Claude 平时在帮人写软件、做科研的同时,顺带把蛋白质序列这门课也修了,分数还更高。

专用模型靠的就是只读序列这一手,现在通用模型把这部分能力也吃进去了...

这个结果会有别的解释吗?博主一条一条试过。

会不会是从论文里看来的?那 128 个一篇论文都没有的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还高一点。

会不会是现场推出来的?可接口记录显示,Fable 5.2 只有 9% 的回答动用了思考,没思考的那些正确率是 54.7%,思考过的反而只有 48.2%。

还有一条线索来自数据库。同一类蛋白质在数据库里收录得越多,Claude 就接得越准。只收了几十条的小家族,它接得一般。收到三百条上下,Fable 5.2 的成绩基本就到头了,再多了也涨不动。只读序列的专用模型也是这个规律。GPT 和 Gemini 不管家族大小,一直贴着零。


Leo Tianlai Chen 提供了一组很有洞察力的实验数据,APPSO 认为这组实验结果非常有价值。

他找来 56 条今年 8 月 2 日到 27 日才第一次公开的蛋白质,和此前数据库里任何一条的相似度都不到一半。

Fable 5.2 在这批新蛋白质上的差值是 22.1,两款专用模型是 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。

作者自己也说,这组数据有两个短板。样本太少,只有 56 条。另外,他们并不确切知道 Claude 的训练数据截止在哪一天,7 月 1 日是他们估的。要是实际截止得更晚,这批 8 月才公开的蛋白质,就不能算它没见过了。

Xinming Tu 说,「这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。」


对AI来说,蛋白质也是一种语言

Fable 5.2 的官方介绍页 APPSO 从头到尾翻了一遍,没有一个字提到训练数据里有什么。所以上面这些,都还是两位研究者从模型的表现倒着推出来的。

能查到的是 Anthropic 自己公开做过的事。今年 9 月 17 日它发过一篇文章,说 Claude 用不到四周改写了 30 多个开源的生物模型,平均快了大约 4 倍,这 30 多个里就有蛋白质语言模型。


跑分那一栏里有一项叫 De novo binder design,说白了就是给模型 24 小时,让它自己设计一个能结合到指定目标上的蛋白质。

再往下拉是 Safeguards 一节,写着 Fable 5.2 对网络安全和生物两类问题设了防护,被标记的提问会自动交给能力弱一些的模型去答。


这套防护 Xinming Tu 自己就挨过。测 Claude Fable 5 的时候,44% 的题被过滤器挡了回去,系统给的理由是网络攻击内容,但他发过去的只是一串氨基酸字母。。。

到了 Fable 5.1 被挡的还有 2.5%,而 Fable 5.2 一题都没挡。

Hacker News 上有人在帖子下面抱怨,「连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。」

DNA 有人也测了。Opus 5.5 能接人和小鼠基因里负责编码蛋白质的片段,500 个片段里有 25 次把后面 20 个碱基一个不差地写了出来,瞎猜碰上一次的概率大约是一万亿分之一。

可一出编码区,到了基因组的其他地方,它就接不上了。博客里说,它学的是蛋白质,不是基因组。

先把大门给锁上,再把完整能力只发给验过身份的机构。这个顺序是不是说明,Anthropic 很清楚自己的模型在生物上到了哪一步?


博客最后留了一个他们还没测的问题。专门的蛋白质模型除了会接字母,在它上面加一个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。

Claude 现在背得出蛋白质的字,它看不看得懂蛋白质的形状?

这个问题,Anthropic 也已经在接招了。

今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里,翻出了一段不寻常的 DNA。这段 DNA 的排列方式,很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的「基因剪刀」。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》说,这段东西到底是干什么的,他们自己也还不确定。

再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展,压缩到五到十年里。那时候听起来只像是一句愿景。

这样看来,蛋白质压根就不是 Claude 顺手学的一门选修课,而是一门必修课。


当大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。

我们正在招募伙伴

简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
55岁阿姨相亲一见钟情,当晚同居,第二天起床,竟不知道对方名字

55岁阿姨相亲一见钟情,当晚同居,第二天起床,竟不知道对方名字

风起见你
2026-10-24 18:14:10
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
十二月份开始,守得云开见月明,这三大生肖终于等到转运时机

十二月份开始,守得云开见月明,这三大生肖终于等到转运时机

情感事聊
2026-11-20 11:46:35
清晨,全线跳水!美股突变,发生了什么?

清晨,全线跳水!美股突变,发生了什么?

证券时报
2026-11-20 08:29:03
朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

纯洁的微笑
2026-11-18 21:51:39
都说白瘦才好看,徐冬冬这种丰腴美不好看吗?

都说白瘦才好看,徐冬冬这种丰腴美不好看吗?

草莓解说体育
2026-11-20 11:41:21
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
看哭!25岁妈妈含泪记录2岁宝宝生命最后11天:“他以为好好吃饭就能活下去,我抱着孩子一秒一秒告别…”

看哭!25岁妈妈含泪记录2岁宝宝生命最后11天:“他以为好好吃饭就能活下去,我抱着孩子一秒一秒告别…”

上观新闻
2026-11-19 12:41:54
92-90!上海男篮绝境大逆转,最多落后18分,可惜霍华德空砍40分

92-90!上海男篮绝境大逆转,最多落后18分,可惜霍华德空砍40分

汪星人哟
2026-11-19 22:18:21
高市是时候收回“台湾有事就是日本有事”错误言论了,一味躲躲闪闪解决不了事情.......

高市是时候收回“台湾有事就是日本有事”错误言论了,一味躲躲闪闪解决不了事情.......

竹林枫
2026-11-20 11:13:08
深圳登上海外热搜,外国学者感慨:希望我的祖国也能有一个深圳

深圳登上海外热搜,外国学者感慨:希望我的祖国也能有一个深圳

观锐器
2026-11-20 12:12:28
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

唠叨说历史
2026-11-12 14:20:16
演员张慧雯恋情曝光,男友贺鹏是富二代,也是杨紫的大学初恋

演员张慧雯恋情曝光,男友贺鹏是富二代,也是杨紫的大学初恋

林轻吟
2026-11-19 07:20:48
2015年,复旦投毒案凶手林森浩被执行死刑,父亲隔着玻璃追问:“你到底是不是被冤枉的?”他只回了一句话,便彻底击碎了父亲最后的侥幸

2015年,复旦投毒案凶手林森浩被执行死刑,父亲隔着玻璃追问:“你到底是不是被冤枉的?”他只回了一句话,便彻底击碎了父亲最后的侥幸

人生录
2026-10-22 00:05:20
没有库里,联盟垫底

没有库里,联盟垫底

只关于篮球
2026-11-20 13:08:05
贺希宁左膝前叉断裂,亲自发文勉励自己,重伤后职业生涯完了!

贺希宁左膝前叉断裂,亲自发文勉励自己,重伤后职业生涯完了!

篮球资讯达人
2026-11-20 00:21:00
完蛋!澳洲全面恶化,1.2万企业倒闭,超1200万澳人生活全面崩塌! 企业大裁员失业飙升至4.9%!

完蛋!澳洲全面恶化,1.2万企业倒闭,超1200万澳人生活全面崩塌! 企业大裁员失业飙升至4.9%!

澳洲财经见闻
2026-11-20 03:12:52
1927年4月,邓颖超在广州产下一子,由于这个孩子生下来体重太大,近十斤重,超过了正常标准,导致无法正常顺产出来

1927年4月,邓颖超在广州产下一子,由于这个孩子生下来体重太大,近十斤重,超过了正常标准,导致无法正常顺产出来

回京历史梦
2026-11-13 10:28:05
2026-11-20 13:23:00
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
7082文章数 26945关注度
往期回顾 全部

教育要闻

鸡娃怎样才能拿到“大结果”?

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

游戏
房产
健康
教育
军事航空

《GTA6》暗藏大表哥彩蛋!亚瑟故事写进书里

房产要闻

2.5亿!丁村侨中,新动作来了!

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

小学生说了真话却被扣4分,标准答案容不下“大实话”吗?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版