北京
出品 | 网易智能
作者 | 辰辰
编辑 | 王凤枝
同样把10项编程任务全做对，新版DeepSeek花的钱不到Claude Opus 5.5的四成，平均每项多等两分钟。
10月17日，DeepSeek发布V4.1-Flash-1017，价格保持不变。发布后，已经有开发者拿它做游戏、搭网页、改代码。
为了测试它的实际水平，开发者Ibragim Badertdinov从日常工作中挑出10项任务，在同一套编程工具里让不同模型各跑三遍，分别使用DeepSeek V4.1-Flash-1017的高推理档位，以及Opus 5.5和GPT-6 Astra的低档位。
实测下来，三款模型全部过关，但账单和耗时拉开了差距：DeepSeek平均每项任务只花0.045美元，远低于Opus的0.1168美元和GPT-6 Astra的约0.26美元；不过Opus和GPT分别只要37秒和55秒就能跑完，DeepSeek却要花上2分38秒。
这10项任务的规模都不大。换成一个完整项目，DeepSeek与GPT、Claude的差距，还只是多等一会儿吗？
01十道题全过，DeepSeek省钱，Opus省时间
Ibragim挑的题目，来自自己大约三个月的智能体使用记录，涉及数据处理、后端、前端和部署，使用Python和TypeScript。他把需求已经明确、自己通常不到一小时能完成的工作挑出来，再配上自动检查程序。
他公开的一个简化示例，是把一批数据导入本地数据表。程序除了要导入成功，还得跳过重复记录、拒绝冲突的编号、报告不合要求的数据；替换旧数据时，不能写到一半就把原来的内容破坏掉。测试会检查空输入、数据冲突、原有文件损坏等情况。
三款模型都通过了这些检查，DeepSeek用的步骤却更多。同样在Pi这套编程工具中运行，DeepSeek平均每项任务用了15.3步，Opus是3.7步，GPT-6 Astra是6.5步。DeepSeek的总token用量约54.7万，Opus约3.1万。
用量大，账单却没有跟着涨上去。Ibragim解释，DeepSeek几乎所有输入都命中了缓存，记录中的缓存命中率达到97.9%。那54.7万token也不是模型新写出了这么长的答案，其中包括多轮调用中重复送入的内容。便宜的缓存输入，使这次测试的每项费用仍能压在5美分以内。
对使用者来说，这两分钟有没有影响，要看自己是不是一直等在屏幕前。把任务交出去后接着做别的事，等待未必碍事；如果要看完结果马上提下一轮修改，Opus和GPT在这组测试中的速度就更有用。这里比较的是通过API完成任务的费用，不是ChatGPT、Claude订阅套餐的月费。
新版相对上一版也有进步。Ibragim此前用9月版Flash的最高推理档位测试，30次运行通过了28次，平均每项耗时4分30秒；这次用新版的高档位，30次全部通过，耗时降到2分38秒。
02 0.38美元做出宝马，普通网页却跑了40分钟
DeepSeek这次想展示的，已经不只是补一段函数。官方发布的案例包括故宫3D场景、网页赛车游戏，以及用Godot制作的《传送门2》复刻演示。公司称，新版通过带有自我反馈的强化学习，改善了从头完成项目的能力。
开发者Fabiano Firmo则让它用Three.js制作宝马M5的3D模型。他晒出的画面中，红色汽车出现在展示网页里，旁边还有配色选项。按他的说法，这次只给了一次提示，花费0.38美元，耗时1小时10分钟。
还有用户展示了类似《火箭联盟》的游戏，让汽车在场地里踢球。X用户Markets & Mayhem评价，物理效果能正常运行，已经可以玩，但还需要打磨。对于想先做出一个网页或游戏原型的人，这些演示比模型考试分数更容易看出用途。
不过，愿意等一个多小时看3D汽车，不代表做普通网页时也愿意等这么久。
开发者Alex Carter说，他让DeepSeek Harness制作一个普通的落地页，运行了41分钟；接下来两项网页任务，又分别花了43分钟和40分钟。他认为模型聪明、便宜，演示效果也不错，但这些页面是自己做了多年的工作，通常十分钟就能完成。
开发者unbug也有类似感受：模型变聪明了，却容易想得太久，迟迟不动手。另一位用户Elshayib强调，自己抱怨的并不是每秒输出多少字，而是模型在行动前花了太长时间思考。
API平台OmniaKey的一次测试，记录下了这种长推理输出。它要求新版Flash写一个按Python运算规则计算表达式的程序，不能调用现成的解析工具。模型用了约88秒，通过全部30个检查用例；输出的约2.07万token中，约1.97万属于思考内容。
但Flash并不是所有任务都慢。在OmniaKey另一次测试中，它从一封混合德语和英语的发票邮件里提取10个字段，5.2秒便全部答对；查询两座城市天气和时间的工具调用，2.6秒就完成了。OmniaKey本身销售模型API，这组测试每项只运行一次。
宝马建模、落地页这些例子，并不是三款模型的同题对比。DeepSeek做出的成品如何、后面还要改多少次，仍要与GPT、Claude放到相同要求下比较。
03调低档位后，快了一分钟，也多了三次失败
既然高推理档位耗时长，调低一点会怎样？Ibragim也测了。
在Pi里，新版DeepSeek调到低档后，平均每项时间从2分38秒缩短到1分31秒，费用从0.045美元降到0.0257美元。不过，30次运行中有3次未通过。高档位下拿到的全部通过，并不能原封不动地保留下来。
这个低档位，换到DeepSeek自家的Harness里，结果又有变化：30次运行通过29次，比Pi多通过两次。按照Ibragim的记录，官方工具环境帮模型处理到了一处Pi里漏掉的边界情况。
两套工具让模型干活的方式有所不同。DeepSeek Harness直接提供读取、编辑文件的工具，Pi主要让模型通过命令行操作；前者的系统提示词也更长。这次换工具后，token用量增加了约75%，平均耗时也从1分31秒变成1分53秒。两套工具中，都只有9项任务能连续三次通过。
同一个模型，换个推理档位、换套工具，速度、费用和成功情况都会变。只看到别人晒出的结果，还得知道他用了什么设置。
DeepSeek在发布时也明确提到，针对DeepSeek Harness、腾讯CodeBuddy和WorkBuddy等工具做了优化，并建议Harness用户升级到v0.2.1-rc.1或更高版本。
这次更新已经上线网页、App和API，API调用仍使用deepseek-flash，价格保持不变；新版模型权重也已按MIT协议公开。
不过，前面的编程测试是把模型接入能读文件、改代码、运行检查的工具中完成的。在聊天窗口里让它写一段代码，与让它接手一个项目，使用环境并不相同。
04同一套题，GPT和Claude还能更便宜
Opus和Astra是两家公司的旗舰，OpenAI和Anthropic也有便宜的模型。在Ibragim同一套测试中，GPT-6 Luna的xhigh档位、Haiku 5.5的high档位，同样30次全部通过，平均每项分别只花0.0145美元、0.0208美元，比DeepSeek还低。两者的平均耗时分别是2分46秒和2分08秒。
这使选择不再只是“昂贵的GPT、Claude”和“便宜的DeepSeek”二选一。已经使用Luna或Haiku处理小任务的人，未必能靠换成Flash进一步省钱。
更难的工作，则会把问题从等多久变成能否放心采用结果。X用户Yum说，自己试用新版后，仍最担心幻觉，尤其是跨多个文件的重构和架构修改。他会让另一个模型检查改动，不愿让DeepSeek自己批准自己的方案。这是他的使用取舍，并不是一场证明GPT或Claude更可靠的同题测试。
因此，目前最扎实的进展，是新版DeepSeek已经在一批真实的小型编程任务中，交出了与旗舰模型同样通过检查的结果。大型项目里需要多少次人工纠正、出了问题能否修好，才会决定这种替换能走多远。做出一辆3D汽车，与长期维护好一个项目，中间还有不少工作。
Ibragim也准备给这套测试加难度。他在帖子最后说，下一步会挑出一批难得多的任务，再比较不同工具和模型。
