网易首页 > 网易号 > 正文 申请入驻

DeepSeek新「模型」浮出水面

0
分享至



作者:青青 2025年1月20日晚间时间,当DeepSeek-R1满周岁之际,代码库里悄悄浮出了一个陌生的名字:"MODEL1"。这个此前从未公开亮相的模型标识符,在DeepSeek更新的FlashMLA代码中被发现了多达28处引用,跨越114个文件。 这套藏在代码层面的架构迭代,可能正是DeepSeek在春节前后计划发布的下一代旗舰模型,也就是传说中的DeepSeek-V4。与其说是泄露,不如说是这家公司对技术方向的又一次大胆重写。

01 .

代码细节里的架构秘密,KV缓存与稀疏推理的双重优化

从GitHub提交记录看,MODEL1与现有的V3.2在底层架构上存在明显差异。海外开发者的分析指出,最核心的变化体现在三个方向:KV缓存布局、稀疏性处理和FP8解码支持。

在KV缓存优化上,MODEL1的内存分配策略从V3.2的576字节调整至接近584字节。这看似微小的改动背后,隐藏着对长文本处理的重新思考。以往的模型在处理超长上下文时,会因为注意力机制的计算量呈平方增长而陷入困境。MODEL1引入了Token-level Sparse MLA,即在令牌级别实现稀疏多头潜注意力机制,这意味着模型可以动态决定哪些历史token值得关注,哪些可以剪枝。

一位海外网友的深入代码分析显示,MODEL1支持动态Top-K稀疏推理逻辑。说得通俗一点,模型不再盲目处理全量历史信息,而是学会了"选择性遗忘"。在某些场景下,这种策略能将显存占用削减40%以上,同时推理速度翻番。对于正在处理百万tokens级别上下文的企业级应用来说,这就是直接的成本收益。

FP8解码的专门支持则体现了DeepSeek对推理效率极致追求的态度。在NVIDIA的Hopper架构GPU上,FP8相对于FP16有约两倍的吞吐量优势。DeepSeek在代码中显式适配了SM90和SM100架构的FP8运算,这意味着MODEL1可能会成为首批在生产环境中充分利用新一代GPU浮点运算能力的大模型。

02 .

Engram与VVPA,两大技术突破指向编程能力的跃升

在不到两周的时间里,DeepSeek相继发布了两篇重磅论文,分别涉及"优化残差连接"(mHC架构)和"AI记忆模块"(Engram)。业界的普遍共识是,这些论文中的创新思想已经被集成进了MODEL1的工程实现中。

Engram的价值在于彻底改变了Transformer架构处理知识的方式。传统的注意力机制本质上是在"计算"中模拟"记忆",每当模型遇到一个实体或固定短语时,都需要通过复杂的矩阵运算才能检索相关信息。这种设计在处理大量重复模式时显得低效。Engram的做法是将记忆和计算彻底分离。它基于哈希N-gram嵌入建立了一个条件记忆层,实现了近似O(1)的确定性知识查找。在数学和代码任务上,这个模块能带来20%到30%的性能提升。

与此同时,MODEL1中引入的VVPA(值向量位置感知)机制则针对另一个长期困扰模型的问题:在长文本下位置信息的衰减。传统的RoPE位置编码在处理极长序列时会出现位置信息混淆的现象,导致模型对某些token的位置判断错误。VVPA通过为值向量增加位置感知能力,确保即使在数千tokens的上下文中,模型仍能精确定位每个token的相对位置。

这些改进直接服务于一个明确的产品目标:编程能力的突破。根据The Information的爆料,DeepSeek内部的基准测试已经显示,MODEL1在代码生成任务上的表现超越了Claude和GPT系列。这不仅意味着更强的代码补全能力,更关键的是解决了困扰AI模型的"灾难性遗忘"问题。以往的模型在处理大型工程项目时,会因为上下文长度的限制或注意力衰减而频繁"遗忘"之前定义的函数或变量。新模型的mHC架构通过严格控制信号增益(限制在1.6倍),在扩大参数量的同时保持了模型的稳定性,这为构建真正的编程Agent打下了基础。

03.

春节档期的战术选择,开源模式下的产业重构

2025年的AI产业已经形成了一个有趣的时间规律。去年春节前后,DeepSeek发布了R1模型,借助假期间的全球关注度实现了指数级传播。今年的计划看起来是复刻这个"春节突袭"的策略。将MODEL1的发布时间设定在农历新年前夕,既能赶上国内技术社区的活跃期,又能利用春节假期期间国外开发者的闲暇时间。

从更大的产业格局看,MODEL1的出现正值AI竞争格局发生深刻变化的时刻。过去一年,DeepSeek已经彻底改写了人们对"需要多少算力才能训练顶级模型"的认知。R1用29.4万美元的后训练成本达成了与OpenAI o1相当的推理能力,这个数字公开发表在《Nature》封面上,成为了对整个硅谷"大力出奇迹"哲学的一次直接挑战。


开源策略是DeepSeek的另一张王牌。当微软、AWS、英伟达等科技巨头纷纷将R1集成到自身的云平台时,我们看到的已经不是单纯的技术竞争,而是生态的重组。开发者可以在Azure、Amazon Bedrock上直接部署DeepSeek模型,这意味着OpenAI的垄断优势正在被逐步瓦解。

MODEL1的发布方式预计也会保持这个开源传统。完全开源的设计让全球开发者都能自由地使用、修改和商业化模型,这不仅降低了部署成本,更重要的是激发了基层开发者的创新动力。

从代码层面的MODEL1细节、到论文里的Engram理论、再到春节前的战术时间点,DeepSeek正在编织一个相当完整的技术和商业策略。这场"不卷功能、不融资、不着急"的独特企业哲学,正在用一种更高效、更开放的方式改写AI产业的竞争规则。今年2月中旬,我们或许就能看到这套架构设计在实际应用中的完整样貌。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国际法院裁定缅甸对其境内穆斯林少数群体犯有“种族灭绝罪”,中方:对越权管辖和扩大解释等问题存在关切,认为有关做法不利于争端解决

国际法院裁定缅甸对其境内穆斯林少数群体犯有“种族灭绝罪”,中方:对越权管辖和扩大解释等问题存在关切,认为有关做法不利于争端解决

政知新媒体
2026-11-20 15:27:31
英伟达解雇黄仁勋一周后,台积电近况曝光:突然要求超额订单先付现金

英伟达解雇黄仁勋一周后,台积电近况曝光:突然要求超额订单先付现金

小徐讲八卦
2026-11-20 11:11:05
不可思议!广东女生相亲提出四项硬性条件,要求男方月入10万,直言自己年轻貌美值得,视频引发网友热议

不可思议!广东女生相亲提出四项硬性条件,要求男方月入10万,直言自己年轻貌美值得,视频引发网友热议

火山詩话
2026-11-20 14:27:45
绝境翻盘!卞相壹顶住重压逆转取胜,斩获三星杯桂冠,李钦诚随手战败

绝境翻盘!卞相壹顶住重压逆转取胜,斩获三星杯桂冠,李钦诚随手战败

L76号
2026-11-20 14:47:33
冲上热搜!花都山姆动工,激活广州北部消费新引擎

冲上热搜!花都山姆动工,激活广州北部消费新引擎

广州花都发布
2026-11-20 18:47:46
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

懂球帝
2026-11-20 06:38:19
痛哉,中国股市!

痛哉,中国股市!

水皮M0RE
2026-11-20 17:51:49
今晚开播!中央八套黄金档26集好剧来袭!演员阵容雄厚

今晚开播!中央八套黄金档26集好剧来袭!演员阵容雄厚

i书与房
2026-11-20 07:57:59
秘密行程?特朗普起飞前,收走了所有记者手机!

秘密行程?特朗普起飞前,收走了所有记者手机!

胜研集
2026-11-20 01:28:08
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

湖人崛起
2026-11-20 11:31:13
媒体人:巴里-布朗已抵达烟台与球队汇合,今晚登场与否还需评估

媒体人:巴里-布朗已抵达烟台与球队汇合,今晚登场与否还需评估

懂球帝
2026-11-20 14:48:58
1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

磊子讲史
2026-11-19 15:31:48
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

桂系007
2026-11-18 23:50:36
高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

每日经济新闻
2026-11-20 17:08:48
比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

新京报
2026-11-19 22:46:06
俄政府敲定克里米亚大桥修复方案

俄政府敲定克里米亚大桥修复方案

参考消息
2026-11-20 14:27:04
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
2026-11-20 19:28:49
IT小埋 incentive-icons
IT小埋
爱科技,爱生活,爱吃瓜
1250文章数 1490关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
教育
时尚
数码
手机

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版