北京
凤凰网科技讯 10月16日，蚂蚁百灵昨日宣布开源Ling-3.1-flash模型。该模型总参数约560B，每个Token激活约25B，最高支持1M上下文。
在Artificial Analysis公开评测中，Ling-3.1-flash的智能指数为41，输出速度约为每秒210 Token。
针对本地部署，团队对routed experts采用MXFP4量化、dense层保持block-FP8，权重占用从约534GB降至292GB。在对应的Hopper GPU测试配置中，服务部署由8卡降至4卡，让具备服务器级GPU的团队以更少卡数运行模型。
针对长资料处理，团队提供长上下文并行推理方案（PCP/DCP）；工具调用也加强了对JSON Schema的支持，方便与现有业务接口对接。团队通过算子融合与DSpark投机解码减少推理开销：在平均输入约25.47K Token、输出约224 Token、缓存命中率为76%的模拟生产请求中，8卡Hopper配置下的平均首Token时间为604毫秒，相邻输出Token平均间隔为3.28毫秒。
在持续提供服务的吞吐测试中，平均输入约8.5K Token、输出约800 Token，4卡Hopper配置下模型达到约1.36 QPS，同时满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的测试约束，为自有部署的容量规划提供参考。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
