大模型没有秘密

《晚点》这两天发了篇写，信息量很大，其中有个细节让浪哥印象很深。

姚顺雨在训Hy3之前，给团队打了一剂预防针，大意是，直到今天，OpenAI的基础模型也没有依赖过什么神秘的技术，甚至底层架构和2023年比都没什么根本变化。做大模型没有魔法，也不要相信别人有魔法。

这话让浪哥想起前段时间张小珺对姚顺宇的那个，里面也有一段，姚顺宇的说法跟姚顺雨意思差不多。

姚顺宇的大致意思是，做AI这个事儿，本来也不太需要脑子，都是一些本科生就能干的活，这个行业最重要的特质就是靠谱，就是做事儿细，然后对自己做的事儿负责任。

有意思的地方就在这里：两个清华出身的AI大神“尧舜禹”，一个从OpenAI来到腾讯混元，一个从Anthropic来到谷歌DeepMind，然后各自独立表达了几乎同样的判断——大模型没有秘密。

其实之前OpenAI的翁家翌也，认为AI 竞争在算法层面已经趋同，真正的分野在于谁能把“从想法到验证”的循环压到最短，这是一个系统工程问题，不是一个天才科学家问题。

具体来说，大模型这条路，在科学上已经没什么悬念了。在自然语言生成这条主线上，Transformer那个关键的算法跳变已经发生了，后面都是平滑提效。大家都在用类似的方法论，预训练+RLHF+各种后训练技巧。驱动力也很清楚，就是算力和数据。姚顺宇在访谈里用了一个词叫“清晰的框架”，在这个清晰的框架里面，没有什么需要天才灵光一闪才能突破的东西。

所以你看Hy3用了什么架构？最标准的MoE Transformer。讨论过线性注意力，放弃了。讨论过更花哨的Agent并行，也放弃了。就是最朴素最确定的技术路径，然后把每个环节做对、做到位。

那问题来了，既然大家都知道怎么做，为什么模型之间还有这么大的差距？

这就像开火锅店，底料配方又不是什么国家机密，食材好、服务好，道理谁不懂。但有本书叫什么名字来的？《海底捞你学不会》。

大模型也是一样。知道范式和做出好模型之间，隔着一道巨大的鸿沟，这道鸿沟名叫执行。

姚顺雨接手混元之后，先花了两个月重构Infra，不是搞什么新架构新算法，就是把训练的基础设施重新写了一遍。谁都知道Infra重要，但是不是能做好，就要看真金白银的投入和工程团队的能力。OpenAI的RL Infra核心构建者翁家翌就说，“每家公司的Infra都有 bug，谁修的bug多，谁的模型就训得越好。”

数据更是。晚点报道说，姚顺雨为人温和谦逊，但为数据的事儿，很罕见地对团队发过脾气，说如果下次再出这种问题直接走人，因为当时距离Hy3正式发布只有一个月，有一批提交上来的数据出了问题，直接影响到模型效果。

姚顺宇在访谈里说的，AI不太需要脑子，最重要的特质是靠谱，做事细，对自己做的事负责任，正好也可以给姚顺雨的行动做注脚。

之前混元的落后，很多问题就出在这里。数据标注的验收线，定了95%准确率，但实际准确率长期停留在 60%-70%，标注团队为了交差，生产出大批无法使用的数据，算法团队默许了。

所以姚顺雨来了之后，改架构是其次，改组织文化才是核心。三层扁平结构，算法和Infra统归一个人管，百人大群信息共享，取消年中考核鼓励长期研发。他甚至经常和实习生聊到深夜，问他们觉得哪里需要改。

说到底，在一个范式已经很透明的行业里，竞争的维度变了。以前是谁先发现正确的方向谁赢，现在是谁能把确定的事情做好谁赢。

看了晚点报道，基本可以确认，混元回第一梯队乃至跻身前列，应该问题不大。

腾讯和字节，这两家最终都会是国内AI领跑者。虽然浪哥平时没少调侃它们，但不可否认，两家公司的组织文化都有一个共同特征，就是务实。

字节Seed的人才密度和工程基建在业内有口皆碑，腾讯虽然改革来得晚，但总办给了足够的授权和耐心，姚顺雨可以不看榜单，按自己的节奏来，人才密度也跟上了。这种组织环境下，靠谱的人能发挥靠谱的价值。算力投入，以及AI的变现问题，这两家都是财力雄厚、应用场景丰富，也是最没有后顾之忧的。

智谱、MiniMax这些大模型创业公司，虽然股价凶猛，但长期看还有待观察。他们有好的人才底子，也有创业公司天然的执行效率，但资金压力和变现场景都有更大考验，在这种情况下，得看接下来一两年，他们能不能在“把基础做对”这条笨路上耐得住寂寞，少吹牛逼多练内力，少讲故事多做实事。

因为在一个没有太多秘密的行业里，赢的方法恰恰是最不性感的那一个，就是把确定的事，踏踏实实地，一件一件地做对、做到位。

又不是崩老头，讲啥故事呢？