四款小模型,同一张表格,十五次运行,没有一个找到那张最便宜的16GB显卡。这不是段子,是一次实测的结果。
![]()
测试用的表格是故意做脏的硬件价格追踪表:存储单位混着写,条目看着重复,价格有缺失,不同地区用不同货币,中间还夹着小计行。四款模型拿到的是完全相同的六个问题,每个问题都开新对话,CSV作为附件传进去,工具和联网全关,推理也关掉,保证条件一致。
硬件环境是一台主力台式机,RTX 4070 Ti Super 16GB,锐龙5 7600X,32GB DDR5-6000内存。四款模型都跑在llama.cpp上,Q4_K_M量化,16K上下文,全部卸载到GPU,问题通过内置网页界面输入。每次提问前都检查了请求负载,确认整个文件以纯文本形式送达。
评分标准事先定好:1000GB算1TB;英镑价格不算美元条目;TBD和N/A单元格排除;小计行不算产品;问产品加价格的题,答对产品即得分,货币符号写反了也算过,因为模型确实定位到了正确的行。至于表格里根本没有答案的两道题,只有干净利落地拒答才算通过,先承认数据缺失、再编一个数字出来的,一律判失败。
采样参数没有强行统一,而是按各家模型卡上Hugging Face的推荐值来。Gemma的温度是1.0,所以每题跑三次;两个Ministral和Phi的温度在零附近,各跑两次。两个Ministral多次生成结果完全一致,Phi不是,后面会说到。模型卡没写min-p值的,统一设为0。
Gemma 4 E4B:错得最少,但不等于对
Gemma读数据最忠实,尤其是固态硬盘那几道题,每次都正确挑出SK Hynix P41是最便宜的那块。两道无数据题,三次运行都没有编造数字。
它没拿满的数据题里,GPU均价只对过一次,常见错误是把七个正确价格相加时差了10美元。三次运行中,它一次也没找到9060 XT是最便宜的16GB显卡,每次都退回到英镑价格或建议零售价上。
Ministral 3 3B:行选对了,加不起来
3B模型在GPU均价那道题上,两次运行都稳定选出了正确的七张卡,然后分别算出466.14美元和480.43美元,正确答案是539美元。
16GB显卡和1TB固态那两道题,它直接选错了产品,两次都把英镑计价的卡和盘排成了最便宜。数据定位倒是很稳,其余数据分析题里只答对一道,是2TB固态的去重计数。
Phi-4 Mini:同一个问题,两个完全不同的错答案
Phi两次跑GPU均价,给出584.33美元和403美元,取数的集合根本不一样。GPU上的贪心解码并非逐位确定,运行之间有漂移可以理解,但这个幅度的漂移不行——同一个提示词,两次从完全不同的数字集合里取数。温度设成0,重复性远没有这个设置暗示的那么高。
它的失败方式还包括把建议零售价和实际售价混着用,并且数完英伟达的行就停了,AMD和英特尔一张卡都没算进去。数据定位同样扎实,两道表格答不了的题都干净拒答了。
Ministral 3 8B:最大的那个,最不敢信
加这个模型是为了看小模型的失败是不是单纯因为规模不够。它和上面的3B同属一个家族,是最接近的放大对照。
变大确实修掉了一些毛病:它把1000GB读成1TB,也正确挑出SK Hynix P41是最便宜的1TB固态。但算GPU均价时漏了459美元的5060 Ti、1149美元的RTX 5080和629美元的9070 XT,最后拿四张卡算出384美元。
更大的问题出在那道问2022年第二季度均价、而表里根本没有的题上。它自己编了一个英镑兑美元的汇率,算出一个"假设性"的575美元。第二次运行先拒答了,然后照样编出一段RTX 30系列在2022年的定价历史。
按不同运行次数归一化后,Gemma和Phi-4 Mini同为67%,只看数据题,四款里有三款正好卡在50%。拉开差距的不是读表能力,是表格答不了的时候肯不肯承认。
有一个结果在全部十五次运行里完全一致:没有任何一个模型指出RX 9060 XT 16GB、369美元那张卡是最便宜的16GB显卡。每一次返回的都是RTX 5060 Ti,要么是建议零售价,要么是英镑价。正确答案就明明白白躺在同一列里,任何规模的模型一次都没找到。
这些测试能推出的结论有限:只测了四款模型、单一量化、一张布满陷阱的表格。换12B或14B的更大模型、换提示词结构、换更干净的数据集,结果都可能更好。但至少在这类数据上,这些小型本地模型算出来的数,不自己复核一遍是不敢用的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.