网易首页 > 网易号 > 正文 申请入驻

同一句话贵68%:GPT-5对斯洛伐克语的隐形加价

0
分享至

斯洛伐克语用户向GPT-5发一句提示词,账单比英国用户发同样一句话高出约68%。不是汇率问题,是模型切分文本的方式不同。


发现这件事的过程很朴素:发票金额和草稿纸上的估算对不上。英文基准和价目表说一套,斯洛伐克语提示词的账单说另一套。于是有人停止猜测,开始实测——同样的1,012个句子、204种语言、35个分词器,结果整理成“Token税指数”。

核心结论先摆出来:

  • 在GPT-4o、GPT-4.1和GPT-5背后的分词器上,斯洛伐克语所需token是英语的1.68倍;在2023年的GPT-4分词器上是2.13倍
  • 35个分词器的中位数是1.81倍。主流模型中最好的是Llama 4,1.56倍;最差的是Falcon 3,2.27倍
  • 只有欧洲语料训练的分词器接近持平:EuroLLM为1.35倍,Teuken为1.41倍。斯洛伐克语原生分词器SlovakBERT为0.77倍,比英语还便宜。差距是选择,不是物理规律。
  • 斯洛伐克语并不特殊。在GPT-5的分词器上,204种语言里有161种至少付出1.5倍,42种达到2倍以上。桑塔利语是13.7倍

“贵68%”落到实际使用上是三件事同时发生。钱:每月1000欧元的英文负载,在GPT-5上换成斯洛伐克语是1680欧元,Claude Sonnet 4.6上是1800欧元,Qwen 3上是2070欧元,提示词和回答都一样。上下文:128k窗口装的是128k token而不是词,斯洛伐克语下文档、RAG分块和聊天记录大约少装40%的词,模型更早“忘事”。延迟:输出逐token生成,同样内容的斯洛伐克语回答要多走1.6到2倍的步数,流式输出肉眼可见地慢,用户往往先注意到这个,再注意到账单。

更扎心的一点:按原始UTF-8字节算,同样文本斯洛伐克语只比英语长9%。语言本身不长,是分词器不认识它。

分词器是从训练文本里建出来的压缩词典。BPE扫描数十亿句子,把出现频率足够高的片段收进词表。英语在互联网上积累了三十年的文本量,词典里塞满“the”“ing”“tion”和整词。在GPT-5的分词器上,一个英语token平均4.9个字符,一个斯洛伐克语token平均2.9个字符。

斯洛伐克语在三个具体环节上雪上加霜:变音符号(č š ž ť ď ľ ň ô ä)各占两个字节,如果分词器没把“ľudí”学成一个整体,可能切成ľ+ud+í,第一段甚至是双字节字符的单个字节;屈折变化多,英语有house和houses,斯洛伐克语有dom、domu、domov、domy、domom、domami、dome,每个形式都是分词器必须见过足够多次才能记住的独立字符串;语料里斯洛伐克语不够多,这是真正的原因——网络足迹约两倍的捷克语在同一分词器上比斯洛伐克语好几分(GPT-5上1.60倍对1.68倍),使用者四倍的波兰语是1.64倍。税跟着训练文本量走,不跟语言难度走。

好消息在GPT这条线上。OpenAI 2023年的分词器(cl100k_base,GPT-4/3.5)对斯洛伐克语收2.13倍,2024年的(o200k_base,GPT-4o到GPT-5)收1.68倍。词表翻倍到20万条,给斯洛伐克语打了21%的折扣,没人专门宣布过。Anthropic走了同一条路:Claude 2是2.25倍,Sonnet 4.6是1.80倍,5.5系列是1.58倍。

坏消息在人们为了省钱而自托管的开源权重模型里。Qwen 3(2.07倍)、Kimi K2(2.01倍)、DeepSeek V3(1.91倍)对斯洛伐克语都比GPT-5更差。模型本身很优秀,分词器是为中文和英文建的。拿它们跑斯洛伐克语,“便宜”的模型每句话要多花约四分之一的算力,比你想替换掉的API还贵。

托管模型的分词器改不了,能改的是发过去的东西:选模型前先把这笔税算进预算,每百万token的价格乘以自己语言的比率,便宜20%但分词器差25%的模型并不便宜;系统提示词和工具schema保持英文,它们每次调用都发出去,是提示词里语言唯一可控的部分,用户文本可以是斯洛伐克语,那800 token的指令块不必是;RAG分块按token而不是字符来定大小,用真实分词器量,按英文文档调的切块器在斯洛伐克语上会溢出;优先用更新的分词器家族,还停在GPT-4时代或Llama 3时代部署的,换到20万词表的模型是15%到20%的成本下降,质量不妥协;自托管先试EuroLLM和Teuken,它们是特意用中欧文本训练的,也是斯洛伐克语下仅有的低于1.5倍的两个。

测量方法:语料用FLORES-200 devtest,1,012个来自维基百科的句子,经专业翻译成204种语言,每种语言承载完全相同的信息。每套语料过每个分词器,比率是该语言总token数除以英语总token数,附bootstrap 95%置信区间。商业分词器(OpenAI、Anthropic)通过官方库或token计数端点,开源模型通过Hugging Face分词器。代码在MIT协议下开源,数据有DOI,任何人都能复跑。

有一个提醒需要说清楚:分词器更便宜不等于模型更好。Teuken压缩斯洛伐克语很在行,回答仍然不如GPT-5。比率告诉你每句话付多少钱,不告诉你拿回来什么。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

极目新闻
2026-11-20 19:13:17
多国领导人感谢中国

多国领导人感谢中国

环球网资讯
2026-11-21 07:38:13
马斯克收到上海特产!特斯拉员工用边角料手搓了个礼物

马斯克收到上海特产!特斯拉员工用边角料手搓了个礼物

快科技
2026-11-20 17:47:33
TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

手工制作阿歼
2026-11-20 16:14:33
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
现在一些国企总部,越来越像晚清朝廷了

现在一些国企总部,越来越像晚清朝廷了

职场资深秘书
2026-11-20 11:15:00
贾国龙又推新招牌,这次能撑多久?丨大象财富

贾国龙又推新招牌,这次能撑多久?丨大象财富

大象新闻
2026-11-20 18:35:02
“爸爸我爱你”为什么也会敏感违规?

“爸爸我爱你”为什么也会敏感违规?

历史总在押韵
2026-11-20 18:32:28
旅行者1号永远停留在了前天!

旅行者1号永远停留在了前天!

故事终将光明磊落
2026-11-20 14:49:55
英伟达全员大会细节曝光!联合创始人:黄仁勋背叛公司价值观!

英伟达全员大会细节曝光!联合创始人:黄仁勋背叛公司价值观!

芯智讯
2026-11-20 22:57:02
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
退出国家队后首战!C罗离谱连场失点+致球队被逆转 懊恼仰天怒吼

退出国家队后首战!C罗离谱连场失点+致球队被逆转 懊恼仰天怒吼

我爱英超
2026-11-21 04:25:02
越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

黄埔少侠
2026-11-20 18:48:11
我外交部最新回应日本后,日媒:中日改善关系只有两种可能

我外交部最新回应日本后,日媒:中日改善关系只有两种可能

DS北风
2026-11-20 16:30:04
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
没想到“关门歇业”才是今年最好的生意,卖掉厂子的小舅子,终于读懂不折腾才是大智慧

没想到“关门歇业”才是今年最好的生意,卖掉厂子的小舅子,终于读懂不折腾才是大智慧

清风晓
2026-11-20 16:18:29
AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

华尔街见闻官方
2026-11-21 06:34:34
2026-11-21 10:15:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
242文章数 90关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
时尚
健康
艺术
房产

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版