科大讯飞发布星火Token Factory，打造企业级AI模型智能路由与治理新底座

AI产业澎湃，越来越多企业开始将人工智能深度融入研发、生产、客服、营销等核心业务场景。在大模型应用规模快速增长的同时，企业也面临新的挑战：模型种类不断增加、调用成本持续攀升、系统稳定性要求不断提高，而跨模型管理、成本控制、安全治理和运行监控等能力建设却相对滞后。

面对企业AI规模化落地过程中普遍存在的运营管理难题，科大讯飞7月19日正式推出星火Token Factory，通过统一接入、智能路由、全链路治理与成本优化能力，为企业构建面向未来的大模型基础设施底座。

【聚焦企业AI规模化落地挑战】

当前，大模型应用正从单点试点走向多业务、多场景、多团队协同应用的新阶段。

企业往往需要同时接入多个模型服务，支撑代码助手、智能客服、知识问答、内容生成、文档处理等不同业务场景。随着调用规模增长，企业面临的管理压力也在持续加大。

一方面，不同任务复杂度差异显著，但实际应用中往往采用统一模型处理，导致资源利用效率不高，Token成本持续增长；另一方面，多模型并行运行也对系统稳定性、安全治理以及运营管理提出更高要求。

与此同时，企业AI建设正逐步从“模型能力建设”迈向“AI基础设施建设”阶段。企业关注的重点，不再仅仅是模型本身能力是否足够强大，而是如何让模型能力真正融入业务体系，实现稳定运行、统一治理和持续优化。如何在保障业务效果的同时降低成本、提升稳定性、实现统一管理，正在成为企业推进AI规模化应用的重要课题。

【星火Token Factory正式发布】

基于企业客户的实际需求，科大讯飞推出星火Token Factory，旨在帮助企业提升大模型应用效率与管理水平，为其构建长期可持续的AI能力体系提供支撑。

作为企业级AI模型智能路由平台，星火Token Factory定位于企业应用与大模型之间的统一中间层，面向企业提供模型统一接入、智能路由调度、Token成本优化、安全合规治理等核心能力，造覆盖“接入—治理—观测—运营”的完整闭环，为企业构建统一的大模型服务入口，让大模型应用实现真正意义上的可管、可控、可追溯，帮助企业实现大模型资源的高效管理与规模化运营。

智能路由：驱动模型资源高效利用

在企业实际应用中，不同任务对于模型能力的要求并不相同。例如文本分类、信息抽取等简单任务，与长文档分析、复杂推理等高复杂度任务，对模型能力和资源消耗的需求存在显著差异。

针对这一特点，星火Token Factory构建了基于Prompt长短、规则预置、自定义规则、对话轮次、session亲和等多维度特征综合判定任务的复杂度，对请求进行L1至L3智能分级管理并实现智能路由机制。平台综合考虑质量、成本、延迟、可用性、安全等级五个因子匹配适合的模型资源，让简单任务调用更具性价比的模型，复杂任务优先匹配高能力模型，从而实现模型资源的精细化调度与利用。而且整个决策平均延迟可控制在100毫秒以内。

通过智能路由能力，平台能够有效降低大尺寸模型调用压力，为企业释放更多成本优化空间。

推理引擎：提升国产模型本地推理效率

国产化私有部署场景下，推理引擎直接决定算力利用率与服务成本。星火Token Factory围绕昇腾硬件特性，对主流开源大模型从底层算子到上层调度做了端到端的工程优化，在保障服务质量的前提下显著提升了性能。

核心技术优化：在显存侧，通过多种模型压缩与精度优化技术，在精度可控的前提下大幅降低显存占用，使有限硬件能够承载更大规模模型、更长上下文与更高并发；在计算与通信侧，融合推理过程中的核心计算算子，将零散计算合成为高效的指令序列，并对多卡通信做了调度重排，实现计算与通信的并行重叠；在缓存与调度侧，通过跨节点的分布式 KV Cache 管理与多级存储调度，引入上下文感知（Cache-Aware）的缓存路由与上下文复用重组策略，提升了长上下文与高并发场景下的缓存命中率；在解码侧，引入面向昇腾硬件的并行解码加速机制，缩短了生成密集场景下的端到端延迟。

实测成效：在相同硬件条件下，针对主流开源模型的基准测试，星火Token Factory相较开源 vLLM-Ascend 框架推理效率提升约5倍；首 Token 延迟降低 30%–40%。

这意味着，同等昇腾算力可支撑接近翻倍的业务请求量，或以更少算力达成同等服务能力——让国产化私有部署在性能与成本上同时受益。

安全治理：构建企业级安全体系

除模型调度与资源优化能力外，星火Token Factory还围绕企业级应用场景构建了完善的安全体系。

三权分立：管理不碰数据、操作不碰权限、审计不碰业务，三者相互独立、相互制约。并结合混合授权，从制度与技术双重层面杜绝越权与数据泄露风险。

审计日志：平台对所有关键操作自动生成不可篡改、不可删除、不可绕过的全链路审计记录，覆盖数据访问、权限变更、模型调用、数据导出六大类操作，确保全程可追溯，满足等保要求。

敏感信息防护： 覆盖个人隐私如身份证、手机号、银行卡、姓名、地址、邮箱、车牌及经营数据如财务、薪资、合同等敏感信息，进行分级路由，确保敏感数据不出域。

成本归因：把AI算力账算清楚

随着企业AI应用数量不断增加，模型调用过程的可监测能力成为运营管理的重要基础。星火Token Factory提供端到端全链路日志审计能力，实现请求从进入平台到最终返回结果的全过程记录。

通过日志追踪、路由决策记录、Token消耗统计以及成本归因分析，让企业能够清晰掌握每一次模型调用的运行状态和资源消耗情况。配合预算管理、ROI分析和可视化报表，企业不仅能够快速定位问题，更能够为后续运营优化和资源规划提供数据支撑，让AI应用从“黑盒运行”走向“透明运营”。

【加速企业迈向AI规模化运营新阶段】

从模型能力竞争到应用价值竞争，越来越多企业已经完成初步探索，并开始关注投入产出比、运营效率以及长期治理能力等问题。企业真正需要的，不仅是更强的模型能力，更是一套能够实现统一接入、统一治理、统一运营的大模型基础设施平台。

星火Token Factory的发布，进一步完善了科大讯飞在企业AI基础设施领域的能力布局，也为企业构建可持续发展的AI应用体系提供了新的支撑。这不仅是企业级AI治理能力的一次升级，也标志着企业大模型应用正在从单点探索迈向规模化运营的新阶段。科大讯飞希望通过更加开放、高效、稳定的AI基础设施能力，帮助更多企业加速释放人工智能价值，共同推动产业智能化发展迈向新高度。

欢迎关注【华商韬略】，识风云人物，读韬略传奇。