网易首页 > 网易号 > 正文 申请入驻

6909个样本,Sarvam把印度22种语言的OCR做成了标尺

0
分享至

做文档智能的人都有个共同体会:英文OCR早就卷到头了,但一碰到印度语言,模型就开始"自由发挥"。不是漏字,就是凭空补字,一张1950年代的老报纸扫进去,出来的是半真半假的幻觉文本。

Sarvam Vision 2.1 这次更新的核心,就是冲着这类问题去的。它没有把力气花在刷英文榜单上,而是补了三块此前明显缺位的拼图:复杂表格解析、表单里的键值提取,以及印度手写体识别。


从用户反馈倒推的三个方向

上一版 Sarvam Vision 在2026年2月随主权模型系列一起发布,定位是通用视觉语言模型,但重心压在印度语言的OCR、表格解析和多语言视觉推理上。发布之后,团队收到的反馈集中在两条线上:一是某些能力压根没有,二是实际用起来不够顺手。

顺手这件事,他们从推理栈下手做了优化。结果是模型的服务价格比发布时宣布的更便宜,API也针对生产负载做了调整。能力这条线上,补的正是文档智能里最费劲的活:多页表格的结构化抽取、表单的键值提取、印度手写体识别。同时,此前被诟病的幻觉和不一致问题也做了处理。

架构没换,数据换了

架构延续了上一版的"harness加VLM"范式,语义布局解析器和指针阅读顺序网络是两个主要组件。模型本身能在页面级或文档级直接工作,但精度上的取舍决定了还是得靠harness兜底。

真正的变化在数据。团队为键值提取和印度手写体专门造了大规模高质量数据集,合成数据和真实数据都有。比如他们批量生成了多种语言的手写和印刷合成表单,又从网上抓来真实表单再合成填写,把方差拉高。印度手写体这块,他们用了视频等来源,因为里面天然包含大量手写内容。这些新数据源加上对原有训练语料的打磨,支撑了新能力的训练,也压住了老毛病。

数据到位之后,做的是大规模后训练:先监督微调,再上RLVR。

两个老榜单,一个新标尺

上一版报告的是olmOCR-Bench和OmniDocBench两个基准。这次继续报,但团队自己也承认,这两个榜单某种程度上已经饱和了。继续用的理由,是它们代表了社区认可的标准,能说明模型能力处在什么位置。

olmOCR-Bench测的是文档级表现,用通过/不通过的检查方式,覆盖arXiv数学、老扫描件数学、表格、退化的旧扫描、多栏页面、长串小字等类型。它查的是事实在不在,而不是细微偏差。这个基准官方只支持英文,但里面混了中文等污染样本。上一版因为模型只训了印度语言和英文,报的是过滤后的纯英文集;这次为了和竞品对齐,报的是官方全集。

OmniDocBench v1.6是个复合指标,由文本编辑距离、表格结构的TEDS、公式识别的CDM三项连续相似度构成。样本包括报纸、教科书、杂志、财报等,重点衡量结构保真度。

真正的新东西是Sarvam Indic OCR Bench。全球性的英文基准已经把结构和技术层面测得很充分了——布局保真、表格、数学、扫描质量,这些都不缺。缺的是一个严格评估22种印度官方语言准确率的基准。这次他们把这个基准放出来了,共6909个样本,其中6609个覆盖22种印度语言,300个是英文。它只盯一件事:语言准确率,每个样本都是为了稳健衡量字符和词准确率而挑选的。

样本来源很杂,报纸、宣传册、教科书、历史文稿都有,时间跨度从1800年一直到今天。这么做是因为多数印度语言在语言和文字上都经历过巨大变迁,只取当代样本测不出真实水平。基准托管在他们的huggingface上。

文档智能本来就不是单目标问题

一个系统好不好,要看好几个轴,而这些轴之间未必相关:转录1950年代的扫描件不出幻觉是一个轴,正确还原表格结构是一个轴,准确转录泰米尔语又是一个轴。Sarvam Vision 2.1 想站上的,就是这条多目标构成的帕累托前沿。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
河南郑州一女神,169cm身高体重45kg自带光芒,美得恰到好处

河南郑州一女神,169cm身高体重45kg自带光芒,美得恰到好处

动物奇奇怪怪
2026-09-22 06:51:14
中国将迎来前所未有的死亡高峰,专家得出答案:是这些因素导致的

中国将迎来前所未有的死亡高峰,专家得出答案:是这些因素导致的

混沌录
2026-05-28 22:53:01
特朗普向全世界许下一个承诺!全世界该谢的不是美国,是中国!

特朗普向全世界许下一个承诺!全世界该谢的不是美国,是中国!

一些小事
2026-09-25 10:25:51
这是李鸿章妻妾的真实样貌,个个美艳身材修长,颜值不输当代女星

这是李鸿章妻妾的真实样貌,个个美艳身材修长,颜值不输当代女星

可乐谈情感
2026-09-25 09:40:33
刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

静若梨花
2026-08-29 10:42:55
美国稳居头把交椅,俄罗斯位列第二,印度位居第三,伊朗排在第四,韩国名列第五,日本位列第六...中国只能落至第十一

美国稳居头把交椅,俄罗斯位列第二,印度位居第三,伊朗排在第四,韩国名列第五,日本位列第六...中国只能落至第十一

扶苏聊历史
2026-09-25 19:55:04
“深圳已经进化成这样了”?假期第一天上百人扎堆“玩抽象”,彻底上头!网友急了:怎么不叫我

“深圳已经进化成这样了”?假期第一天上百人扎堆“玩抽象”,彻底上头!网友急了:怎么不叫我

南方都市报
2026-09-25 18:52:46
龚庆任广州市南沙区副区长、代理区长

龚庆任广州市南沙区副区长、代理区长

南方都市报
2026-09-25 21:14:09
U23国足VS泰国:朱辰杰坐镇后防,吴曦搭档木塔力甫,拜合拉木冲锋

U23国足VS泰国:朱辰杰坐镇后防,吴曦搭档木塔力甫,拜合拉木冲锋

零度眼看球
2026-09-25 15:15:38
亚运会人气最高5位运动员,孙颖莎第2,张雨霏第4,第一无可争议

亚运会人气最高5位运动员,孙颖莎第2,张雨霏第4,第一无可争议

卷史
2026-09-25 02:51:39
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-09-08 14:55:50
湖人今夏一直在兜售克内克特和范德彪,但是一直找不到接手球队?

湖人今夏一直在兜售克内克特和范德彪,但是一直找不到接手球队?

稻谷与小麦
2026-09-25 00:05:17
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
哈萨克斯坦军演事故死亡人数升至14人

哈萨克斯坦军演事故死亡人数升至14人

极目新闻
2026-09-25 20:07:21
教育部:将在全国推行每周至少半天的校外实践教学

教育部:将在全国推行每周至少半天的校外实践教学

北京商报
2026-09-23 12:55:02
蛇不随便进家门!一旦主动入户,其实是在传递3个重要信号

蛇不随便进家门!一旦主动入户,其实是在传递3个重要信号

小鹿姐姐情感说
2026-09-24 01:43:24
惊人的母子定律:看一个男孩的命,看他母亲就知道

惊人的母子定律:看一个男孩的命,看他母亲就知道

有态度网友19Dsym
2026-09-21 10:22:29
西班牙首相:以色列的残忍令人发指

西班牙首相:以色列的残忍令人发指

澎湃新闻
2026-09-26 01:34:29
宫鲁鸣回应“女篮三分球颗粒无收”:一场球不能代表全部,还是要好好总结今天的问题,时间长了什么情况都可能遇到

宫鲁鸣回应“女篮三分球颗粒无收”:一场球不能代表全部,还是要好好总结今天的问题,时间长了什么情况都可能遇到

澎湃新闻
2026-09-25 19:53:03
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
2026-09-26 03:48:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
205文章数 82关注度
往期回顾 全部

科技要闻

华为赛力斯,一次声势浩大的权、利再分配

头条要闻

特朗普:这次访问富有成效

头条要闻

特朗普:这次访问富有成效

体育要闻

这场青春风暴,中国足球等了太久

娱乐要闻

好甜!井柏然刘雯结伴看李荣浩演唱会

财经要闻

月饼卖不动了...

汽车要闻

小鹏G9L VS 保时捷卡宴,同场实测讲解

态度原创

本地
旅游
亲子
艺术
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

大报恩寺遗址景区亮灯,“大明贵女”为观众派发中秋好礼

亲子要闻

周口广电小主持人“原来月亮有这么多名字”

艺术要闻

看完瞬间清醒!尼采一句话,治好了我的精神内耗!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版