网易首页 > 网易号 > 正文 申请入驻

只要定语足够多,谁都能拿第一

0
分享至


最近AI办公这条赛道,在WorkBuddy跑出来后,肉眼可见的热闹起来。

阿里整合了QoderWork、悟空、MuleRun三个智能体,端出一个千问办公;字节把飞书并入豆包后,刚上线了工作任务模式,AI在虚拟桌面能像人一样查看电脑屏幕、移动鼠标、点击按钮、敲键盘,在电脑端操作Windows,果然还是对GUI路线爱得深沉。

这两天,华尔街投行杰富瑞(Jefferies)发了一份AI研究报告《China AI:US AI Cutting Prices》,除了跟踪模型智能排名与API价格变化外,还拿出相当篇幅,做了一件很少有机构做的事:

对中美市面上8款主流AI Agent产品进行了五项实测,并给出量化评分。

结果让人有点意外。

千问办公95分登顶,以微弱优势超过Claude Cowork和codex;WorkBuddy66分,跟谷歌Gemini Spark 分数一样,并列倒数第一,排排坐到小孩座;豆包77分,路边一条。

报告说,千问办公的底座模型智能分只排第四,但 Agent总分拿了冠军,所以核心结论是,“决定 Agent好不好用的是Harness,不是模型。”

Harness对于模型后训练能力提升和使用体验的重要性,早就是行业共识,这大结论虽然有点废话,但看着没毛病。

不过,浪哥有个习惯就是不只看结论,还要仔细看测试内容,结果这一看,却有了不一样的发现:

测试这玩意儿跟统计有点像,真是一门艺术呐。


我们一个个看。

这测试有五项,每项满分100,等权20%,加权平均就是总分。把千问办公和WorkBuddy的逐项成绩放一起看,就能看出玄妙之处。

测试一,多文件检索取证。任务是给一堆财务文件,写一页年报摘要,每条事实必须标来源,数字打架必须指出矛盾。这是有硬标尺的活儿,数字对就是对,错就是错。

结果是千问95,WorkBuddy95。

测试二,自主联网研究。任务是上网比较微软、Meta、谷歌三家的营收增速和资本开支,产出一张表,区分官方数字和自行估算。同样是有客观标尺的任务。

千问90,WorkBuddy90。

两项有客观标准的任务,千问和WorkBuddy分数完全一样。

然后看测试四,做一份五页的英文PPT。千问95,WorkBuddy80,差15分。

测试五,做一张营销海报。千问95,WorkBuddy 65,差30分。

PPT做得好不好,海报有没有创意,没有客观标准,打分的弹性空间比较大。评分细则没公开,盲评机制没说明,评分者一致性没有披露,这45分的差距从哪来的,没法验证。

但最有意思的,还是藏在中间的测试三。

测试三的任务是,让AI使用真实的桌面浏览器,从 OpenAI官网首页一路点进去,找到新闻页面,打开最新一篇文章,读完全文,输出一个包含标题、日期、分类、链接、摘要和要点的Word文件。

重点来了。规则明确写着,不许用API,不许用爬虫,必须真的操作浏览器去点。

这一项测试,千问办公拿了100分的满分,WorkBuddy跟MiniMax Code一样,都喜提零分。

看到这里,你浪哥笑了。

禁止API接口、必须点浏览器,这是人为把最优解砍掉,专门去测一个特定技术路线。这就是把“办公 Agent好不好用”,偷换成了“你家Agent有没有做 computer-use视觉操控”,但这跟“能不能做好办公任务”有毛关系呢?

就好比要考一个翻译的英语水平,但规定只能用手语表达,不许开口说话。

WorkBuddy走的是接口+生态集成路线,深嵌腾讯文档/企微等腾讯生态,靠连接器而非模拟点击去操作,靠API和MCP调用外部服务。现在这道题,把接口这条路直接堵死,只允许用视觉操控,接口派选手肯定直接归零。

倒是豆包,绝对要后悔读屏功能上晚了,没赶上趟,起个大早赶个晚集,很是可惜。

所以归因分解之后,千问成了大赢家,在两道能客观验证的测试上,跟WorkBuddy打平了,两道主观评判的测试上,比WorkBuddy多了9分,在一道“禁止用你最擅长的方法来做事”的测试上,WorkBuddy得了0分,千问得了满分,又拉开20分差距。

浪哥最近喜欢看一个厨艺综艺《一饭封神2》,这个测试看下来,感觉workbuddy真不容易,就像你去参加厨艺比赛,前两道菜评委说味道一样好,第三道菜规定不许用明火,只能用微波炉,你没有微波炉,零分。第四道第五道是摆盘比赛,评委觉得对面的盘子更好看,你又输了45分。总分出来,你是最差的厨师。

很多人说综艺节目有剧本,但估计没有任何一个综艺的剧本敢这么写。

而且这份报告里还有一个非常有趣的细节,提到了各家Agent的交付速度,在国内的办公AI里,WorkBuddy全场最快,千问办公全场最慢。

但是呢,交付速度不在评分维度里面。不算分。

所以WorkBuddy干活最快这件事,在办公场景里当然很重要,但却进不了这套评价体系,就像一个大厨,风风火火把菜端出来,评委说小伙子你出餐速度挺快嘛,但我们今天不对外营业,比赛不考这个哦。

看到没朋友们,测试就是这么一门博大精深的艺术,学吧,学无止境,太深了。

这让浪哥想起一个老笑话。怎么证明大象是世界上最好的动物?很简单,出一份五项全能测试。第一项,体重。第二项,鼻子长度。第三项,耳朵面积。第四项,皮肤厚度。第五项,象牙质量。鲸鱼体重比大象重?对不起,这项规定必须在陆地上称。

只要定语足够多,谁都能拿第一。

当然,千问办公肯定是不错的产品。在两项客观任务上拿了95和90的高分,比豆包有一项拿了45分,不知高到哪里去了,这个没有争议。但一份评测的价值,取决于它能不能经得起拆开打量,很明显,这个不行。

不过虽然有点离谱,但考虑到是杰富瑞做的报告,倒也说得通。

杰富瑞刚发了一份看多阿里的投资报告,看涨45%,叙事线就是“阿里AI双轮驱动”,这时候再出一份评测,证明千问办公是全球最好的AI Agent,故事就讲圆了。

最近AI行业都在强调产品和大模型之间,可以形成一个互相促进、彼此强化的协同飞轮。看上去,杰富瑞也学会了这一套协同飞轮了,买入评级配合评测报告,一套动作衔接起来,确实是无比丝滑。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开拓者118 110客胜掘金、4个事实呈现、克林根9个前场篮板压制约基奇,杨瀚森轮换窗口只剩罗威膝盖一条缝

开拓者118 110客胜掘金、4个事实呈现、克林根9个前场篮板压制约基奇,杨瀚森轮换窗口只剩罗威膝盖一条缝

繁华若梦x
2026-11-04 08:05:58
正式结束,詹姆斯悄然取关离开,官宣意外转会,庆幸选择获妻子力挺

正式结束,詹姆斯悄然取关离开,官宣意外转会,庆幸选择获妻子力挺

刘蕳爱下厨
2026-11-03 23:14:30
伊朗革命卫队:首支 “为伊朗捐躯”旅组建成军!

伊朗革命卫队:首支 “为伊朗捐躯”旅组建成军!

看看新闻Knews
2026-11-03 00:15:06
俄罗斯一亿五千万人,没见他们慌!美国三亿多人口,也没见他们愁!可中国坐拥十四亿人口,中国专家为什么偏偏先坐不住了

俄罗斯一亿五千万人,没见他们慌!美国三亿多人口,也没见他们愁!可中国坐拥十四亿人口,中国专家为什么偏偏先坐不住了

扶苏聊历史
2026-10-28 10:28:00
连输常冰玉2场!网友热议赵心童:一直咳嗽,毫无斗志,打赌气球

连输常冰玉2场!网友热议赵心童:一直咳嗽,毫无斗志,打赌气球

风过乡
2026-11-04 23:23:22
Marvell把内存搬出GPU,用光连成32TB共享池,英伟达的投资和反制比你想的更早

Marvell把内存搬出GPU,用光连成32TB共享池,英伟达的投资和反制比你想的更早

数据Wave
2026-10-25 11:14:29
我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

千秋历史
2026-07-18 18:50:50
住建部明确:楼龄满25年的老房子,一律这样处理!老小区有福了

住建部明确:楼龄满25年的老房子,一律这样处理!老小区有福了

细说职场
2026-11-04 16:37:14
扎心了!40岁女子拒绝坐22岁男同事电动车,怕被别人说闲话,男同事一句话让她瞬间破防

扎心了!40岁女子拒绝坐22岁男同事电动车,怕被别人说闲话,男同事一句话让她瞬间破防

丫头舫
2026-10-30 19:17:57
300660、920593同时宣布:实控人被立案!

300660、920593同时宣布:实控人被立案!

中国基金报
2026-11-05 01:52:57
“浓妆艳抹”别演红军老婆!看《伟大的长征》万茜和啜妮演的伟人老婆,太真实太还原了

“浓妆艳抹”别演红军老婆!看《伟大的长征》万茜和啜妮演的伟人老婆,太真实太还原了

娱乐故事
2026-10-26 14:49:03
徽剑案舆论持续升级!庄志明律师提出“为电诈嫌疑人辩护就应当枪毙”,评论区彻底沸腾

徽剑案舆论持续升级!庄志明律师提出“为电诈嫌疑人辩护就应当枪毙”,评论区彻底沸腾

火山詩话
2026-11-04 07:30:57
称球星丧父缺阵是"觉醒废话",凯尔特人名宿道歉

称球星丧父缺阵是"觉醒废话",凯尔特人名宿道歉

甜份超标的我
2026-11-05 03:07:07
大罗公开泼冷水:C罗稳进历史前十没毛病,但他绝非足坛第一人!

大罗公开泼冷水:C罗稳进历史前十没毛病,但他绝非足坛第一人!

莫地方
2026-11-02 16:31:29
人民日报发声,北京律师团就位,举报大衣哥的黑粉,这回将迎恶果

人民日报发声,北京律师团就位,举报大衣哥的黑粉,这回将迎恶果

秋之洁
2026-11-04 02:34:00
房子再掉价再便宜,首付再低,利率再低,当下还是不要着急买房

房子再掉价再便宜,首付再低,利率再低,当下还是不要着急买房

流苏晚晴
2026-10-29 13:23:15
“开战即封门”不是吓唬人!中日一旦开战,在日同胞可能回不来了

“开战即封门”不是吓唬人!中日一旦开战,在日同胞可能回不来了

壹知眠羊
2026-08-14 07:11:08
不能压制哈登!骑士绝处逢生新思路,哈登为轴,答案给阿特金森了

不能压制哈登!骑士绝处逢生新思路,哈登为轴,答案给阿特金森了

老梁体育漫谈
2026-11-05 00:06:57
华为又一款Pro Max新机公布:麒麟9050S+6.39英寸!

华为又一款Pro Max新机公布:麒麟9050S+6.39英寸!

科技堡垒
2026-11-04 08:00:35
银行不再掩饰:能存下,100,万现金的家庭,一千户里面也许仅一户?

银行不再掩饰:能存下,100,万现金的家庭,一千户里面也许仅一户?

小呫说故事
2026-11-03 17:44:11
2026-11-05 03:20:49
浪潮浪哥 incentive-icons
浪潮浪哥
不在浪尖癫狂,只从深处发问
23文章数 2关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

苹果“躺赢”了英伟达

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

家居
教育
数码
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

359万件作业本被召回!快看你家的中招了吗→

数码要闻

5499元起!iPad mini 8明天首销:60Hz屏引发争议

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗要求美明确回应7项条件

无障碍浏览 进入关怀版