网易首页 > 网易号 > 正文 申请入驻

同一句话贵68%:GPT-5对斯洛伐克语的隐形加价

0
分享至

斯洛伐克语用户向GPT-5发一句提示词,账单比英国用户发同样一句话高出约68%。不是汇率问题,是模型切分文本的方式不同。


发现这件事的过程很朴素:发票金额和草稿纸上的估算对不上。英文基准和价目表说一套,斯洛伐克语提示词的账单说另一套。于是有人停止猜测,开始实测——同样的1,012个句子、204种语言、35个分词器,结果整理成“Token税指数”。

核心结论先摆出来:

  • 在GPT-4o、GPT-4.1和GPT-5背后的分词器上,斯洛伐克语所需token是英语的1.68倍;在2023年的GPT-4分词器上是2.13倍
  • 35个分词器的中位数是1.81倍。主流模型中最好的是Llama 4,1.56倍;最差的是Falcon 3,2.27倍
  • 只有欧洲语料训练的分词器接近持平:EuroLLM为1.35倍,Teuken为1.41倍。斯洛伐克语原生分词器SlovakBERT为0.77倍,比英语还便宜。差距是选择,不是物理规律。
  • 斯洛伐克语并不特殊。在GPT-5的分词器上,204种语言里有161种至少付出1.5倍,42种达到2倍以上。桑塔利语是13.7倍

“贵68%”落到实际使用上是三件事同时发生。钱:每月1000欧元的英文负载,在GPT-5上换成斯洛伐克语是1680欧元,Claude Sonnet 4.6上是1800欧元,Qwen 3上是2070欧元,提示词和回答都一样。上下文:128k窗口装的是128k token而不是词,斯洛伐克语下文档、RAG分块和聊天记录大约少装40%的词,模型更早“忘事”。延迟:输出逐token生成,同样内容的斯洛伐克语回答要多走1.6到2倍的步数,流式输出肉眼可见地慢,用户往往先注意到这个,再注意到账单。

更扎心的一点:按原始UTF-8字节算,同样文本斯洛伐克语只比英语长9%。语言本身不长,是分词器不认识它。

分词器是从训练文本里建出来的压缩词典。BPE扫描数十亿句子,把出现频率足够高的片段收进词表。英语在互联网上积累了三十年的文本量,词典里塞满“the”“ing”“tion”和整词。在GPT-5的分词器上,一个英语token平均4.9个字符,一个斯洛伐克语token平均2.9个字符。

斯洛伐克语在三个具体环节上雪上加霜:变音符号(č š ž ť ď ľ ň ô ä)各占两个字节,如果分词器没把“ľudí”学成一个整体,可能切成ľ+ud+í,第一段甚至是双字节字符的单个字节;屈折变化多,英语有house和houses,斯洛伐克语有dom、domu、domov、domy、domom、domami、dome,每个形式都是分词器必须见过足够多次才能记住的独立字符串;语料里斯洛伐克语不够多,这是真正的原因——网络足迹约两倍的捷克语在同一分词器上比斯洛伐克语好几分(GPT-5上1.60倍对1.68倍),使用者四倍的波兰语是1.64倍。税跟着训练文本量走,不跟语言难度走。

好消息在GPT这条线上。OpenAI 2023年的分词器(cl100k_base,GPT-4/3.5)对斯洛伐克语收2.13倍,2024年的(o200k_base,GPT-4o到GPT-5)收1.68倍。词表翻倍到20万条,给斯洛伐克语打了21%的折扣,没人专门宣布过。Anthropic走了同一条路:Claude 2是2.25倍,Sonnet 4.6是1.80倍,5.5系列是1.58倍。

坏消息在人们为了省钱而自托管的开源权重模型里。Qwen 3(2.07倍)、Kimi K2(2.01倍)、DeepSeek V3(1.91倍)对斯洛伐克语都比GPT-5更差。模型本身很优秀,分词器是为中文和英文建的。拿它们跑斯洛伐克语,“便宜”的模型每句话要多花约四分之一的算力,比你想替换掉的API还贵。

托管模型的分词器改不了,能改的是发过去的东西:选模型前先把这笔税算进预算,每百万token的价格乘以自己语言的比率,便宜20%但分词器差25%的模型并不便宜;系统提示词和工具schema保持英文,它们每次调用都发出去,是提示词里语言唯一可控的部分,用户文本可以是斯洛伐克语,那800 token的指令块不必是;RAG分块按token而不是字符来定大小,用真实分词器量,按英文文档调的切块器在斯洛伐克语上会溢出;优先用更新的分词器家族,还停在GPT-4时代或Llama 3时代部署的,换到20万词表的模型是15%到20%的成本下降,质量不妥协;自托管先试EuroLLM和Teuken,它们是特意用中欧文本训练的,也是斯洛伐克语下仅有的低于1.5倍的两个。

测量方法:语料用FLORES-200 devtest,1,012个来自维基百科的句子,经专业翻译成204种语言,每种语言承载完全相同的信息。每套语料过每个分词器,比率是该语言总token数除以英语总token数,附bootstrap 95%置信区间。商业分词器(OpenAI、Anthropic)通过官方库或token计数端点,开源模型通过Hugging Face分词器。代码在MIT协议下开源,数据有DOI,任何人都能复跑。

有一个提醒需要说清楚:分词器更便宜不等于模型更好。Teuken压缩斯洛伐克语很在行,回答仍然不如GPT-5。比率告诉你每句话付多少钱,不告诉你拿回来什么。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“黑色星期五”!刚刚,美股集体跳水!恐慌指数飙升

“黑色星期五”!刚刚,美股集体跳水!恐慌指数飙升

券商中国
2026-11-21 00:35:17
一场2-0验出本土第一铁人,足球名嘴盛赞,国足未来边路第一猛将浮现

一场2-0验出本土第一铁人,足球名嘴盛赞,国足未来边路第一猛将浮现

零度眼看球
2026-11-21 06:48:34
APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

快科技
2026-11-20 09:51:06
崇祯帝是穷死的,但他对外夷真的很大方

崇祯帝是穷死的,但他对外夷真的很大方

名人苟或
2026-11-20 07:04:47
宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

慕名而来只为你
2026-11-19 21:45:20
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
逆转之王,联盟第一,76人做到了!……

逆转之王,联盟第一,76人做到了!……

体育新角度
2026-11-20 18:19:33
德国名将韩莹丈夫直言:莎莎无需再对战韩莹证明自己

德国名将韩莹丈夫直言:莎莎无需再对战韩莹证明自己

生活新鲜市
2026-11-21 01:04:06
大瓜!网友曝光李天一出狱后的奇葩现状,李双江欲哭无泪啊!

大瓜!网友曝光李天一出狱后的奇葩现状,李双江欲哭无泪啊!

麦大人
2025-07-01 13:40:16
印军突袭巴基斯坦,让6架阵风战机被摧毁,中国军工凭啥惊艳全世界

印军突袭巴基斯坦,让6架阵风战机被摧毁,中国军工凭啥惊艳全世界

睡前讲故事
2025-05-09 11:11:56
天秀!越南U17小将接角球传中,后脚跟撩射攻破比利时球门

天秀!越南U17小将接角球传中,后脚跟撩射攻破比利时球门

懂球帝
2026-11-21 04:37:05
走过三年牛市,黄金何去何从?

走过三年牛市,黄金何去何从?

财经杂志
2026-11-21 00:08:54
周六你需要知道的隔夜全球要闻:英伟达暴跌14%、美股进入回调区间;交易员不再完全消化美联储12月加息预期;“大空头”卖掉了半数英伟达和半导体ETF看跌期权

周六你需要知道的隔夜全球要闻:英伟达暴跌14%、美股进入回调区间;交易员不再完全消化美联储12月加息预期;“大空头”卖掉了半数英伟达和半导体ETF看跌期权

财联社
2026-11-21 07:03:01
选址定了!武汉中心城区将建一座跨江大桥!

选址定了!武汉中心城区将建一座跨江大桥!

越乔
2026-11-21 01:17:29
1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

人生录
2026-11-06 07:30:25
台北故宫博物院否认光电板计划,蒋万安呛:没有规划为何多次来函询问

台北故宫博物院否认光电板计划,蒋万安呛:没有规划为何多次来函询问

海峡导报社
2026-11-20 16:28:03
每体:皇马八连胜之际,穆里尼奥因训练布置慢训斥助手

每体:皇马八连胜之际,穆里尼奥因训练布置慢训斥助手

懂球帝
2026-11-21 07:48:08
叶檀婚姻终于迎来好消息!立完遗嘱选临终病房,丈夫将在明年露面

叶檀婚姻终于迎来好消息!立完遗嘱选临终病房,丈夫将在明年露面

暖心萌阿菇凉
2026-11-20 02:31:12
粉丝被叫“细狗”引热议,程Yooooo的互动方式该不该被接受?

粉丝被叫“细狗”引热议,程Yooooo的互动方式该不该被接受?

芳华青年
2026-11-18 17:16:17
黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

纸鸢奇谭
2025-02-06 14:31:24
2026-11-21 09:59:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
241文章数 90关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
游戏
时尚
旅游
公开课

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

PC Gamer试玩GTA6百小时:双主角出色但任务重复

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版