广东
更低成本交付智能
“AI的下一场仗，不是比谁更聪明，是比谁更能稳定、便宜地交付智能。”
10月17日，央视财经《对话》走进杭州“新八骏”，探访国产GPU企业曦望Sunrise。节目现场，曦望新一代原生推理GPU启望S3、256卡超节点亮相。Token成本背后的产业经济账，成为本次对话核心议题。
智能体（Agent）在今年爆发，“未来十年，我们将正式进入人机共生时代。”曦望Sunrise 联席CEO王湛说，需要持续降低单位Token成本，让更多企业用得起、用得稳、跑得快。“曦望要做AI产业的'损益优化师'。”
Agent加速普及，用户开始为Token算账
“未来每个人可能拥有2至3个Agent，Agent总量有望超过人类。”王湛判断。与普通问答不同，Agent需要反复规划、检索和调用工具，Token消耗大幅增加，推理算力需求的增长才刚刚开始。
算力成本居高不下成为用户新难题。“Token费用，和水费、电费一样，会列在每个人、每家企业的账单上，大家要开始为Token算账了。”王湛表示。
过去，客户关注算力有多强、显存有多大；如今，更关心业务能否跑得起、跑得稳、跑得便宜。
王湛介绍，2024年，曦望发现客户使用启望S2的业务场景绝大多数集中在推理侧。这让公司进一步判断，推理算力规模将很快超越训练。
2024年底，曦望将“All-in推理”写入公司战略，致力于降低单位Token成本。“在国产GPU公司中，我们是第一个吃螃蟹的。”
从存储到超节点，算力降本需要新技术路径
单位Token成本=（硬件摊销分摊成本+算力运行成本+系统运维成本）÷Token产出量。
“降低分子，提高分母。”节目中，王湛给出一套降低Token成本简易公式。
新一代原生推理GPU启望S3专注推理场景，精简训练相关模块，将节省的晶体管和功耗预算更多用于推理。同时，国内第一个用LPDDR6替代传统HBM方案，探索容量优先、成本更低的存储路线。在软件生态方面，曦望兼容主流AI生态，降低客户AI应用迁移成本。
分子端做减法，分母端做加法。曦望通过高速互联、分层存储及原生支持FP4低精度等，提升分母端Token产出效率。“据我们测算，相比上一代S2，启望S3推理性能提升约5倍，单位Token推理成本下降约90%。”
节目还展示了搭载S3的256卡超节点。这台被王湛称为“推理巨兽”的设备，通过高速互联，让256张GPU不再各自为战，像一台超大GPU一样协同工作，可支持万亿乃至更大参数量的多模态MoE模型。“为什么超节点今天很重要？现在大模型已经来到万亿参数级别，未来还会做得更大，用户需要强大的系统级算力。”
“只有把单位Token的成本打下来，大量智能应用才会在千行百业中真正跑起来，实现智能普惠。”王湛表示。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
