网易首页 > 网易号 > 正文 申请入驻

百度百舸Meetup在京举办 推理基础设施助力Agent规模化落地

0
分享至

9月22日,百度智能云联合SGLang社区举办“Agent时代的推理基础设施:百度百舸 × SGLang生产级实践”Meetup,围绕多芯适配、上下文缓存、KV Cache优化、显存优化、MoE专家压缩和推理服务治理等议题,探讨Agent走向生产环境所需要的推理底座。



从多芯适配到上下文复用 让Agent更快地跑起来

当前,Agent不再只是生成一次回答,而是需要理解目标、拆解任务、调用工具,并在多轮交互中持续推进。上下文能否复用、超大模型能否高效部署、复杂请求能否稳定调度,都将影响Agent的任务完成效率和规模化应用成本。

一次真实的Agent任务,往往包含多轮推理和工具调用。随着任务推进,输入上下文持续增长,不同轮次之间也存在大量重复内容。如果每轮交互都从头计算,响应速度和推理成本都会受到影响。

公开基准数据显示,在393条真实Agentic Coding任务轨迹中,输入输出比中位数达到213∶1,极端情况下输入序列长度可达67.5万Token。Agent工作负载正在呈现长输入、多轮次、强复用的特征。

因此,Agent时代的推理基础设施不能只关注模型一次“答得多快”,还要关注一项任务能否连续、稳定、低成本地完成。要实现这一目标,推理基础设施需要从底层硬件适配、计算效率优化到上下文管理进行系统性升级。

在多芯适配方面,sglang-kunlun插件打通SGLang与昆仑芯,降低模型迁移和适配门槛。百度百舸还推动SGLang社区建立硬件可插拔插件机制,并从芯片算子、任务下发和通信等层面进行优化。

在上下文缓存方面,SGLang社区分享了从RadixAttention到Unified Radix Cache的技术演进。通过统一缓存管理体系,不同类型的KV Cache可以实现高效复用。在现场分享的实践数据中,FULL与SWA混合模型在多轮HiCache场景下命中率达到96.8%,平均首字时延为1.23秒。

不止模型跑得快 也要让整套服务稳定可控

面对超大模型部署,百度百舸通过权重零冗余分布式部署、显存占用优化和MoE专家压缩,释放更多显存空间,为长上下文和高并发任务提供资源支撑。

在相关测试中,MoE专家压缩50%后,长输出和高并发场景下的输出吞吐峰值可达到原来的2.23倍。对Agent而言,这不仅意味着节省显存,也意味着相同算力资源可以承载更多任务。

当Agent进入生产环境,仅仅提高模型速度还不够。百度百舸从流量、负载和集群缓存三个层面进行服务治理,通过动态调度、变长行为感知分桶和KV Cache无感热迁移,让请求进入更加合适的推理实例。

同时,百度百舸构建多级缓存体系,并通过全链路命中率漏斗定位缓存损失环节,提升复杂负载下的服务稳定性。

模型能力之外 看见Agent的真实问题

本次活动还设置了闪电演讲环节。SGLang核心贡献者张晓雨围绕推理服务部署和AI Infra工程自动化展开分享;元神智算CEO蓝衣剑客从标准与生态角度分享Agent发展趋势;万涂幻象社区主理人李祥瑞则聚焦上下文与主体连续性,讨论Agent如何在真实系统中保持状态、完成交付并应对故障恢复。

三位嘉宾的分享共同指向一个变化:Agent的价值不只是“更会回答”,而是能够在连续上下文中理解任务、调用能力并完成交付。百度智能云将继续与SGLang等技术社区及更多开发者开展技术共建,助力Agent从单点尝试走向规模化落地。

模型能力决定Agent能够解决什么问题,推理基础设施则决定这些能力能否被稳定、低成本地交付。百度百舸正在把推理能力从单点性能优化,扩展为覆盖模型适配、上下文复用、资源管理和服务治理的完整体系,帮助Agent跑得更快、更省、更稳。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
肃反运动中,被张国焘杀害的6位红军名将

肃反运动中,被张国焘杀害的6位红军名将

祁州校尉
2026-11-18 09:00:39
山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

臻体育
2026-11-18 22:04:57
王兴兴穿旧白鞋参加APEC,网友;这鞋没换过,还好没穿牛仔裤!

王兴兴穿旧白鞋参加APEC,网友;这鞋没换过,还好没穿牛仔裤!

玖宇维
2026-11-18 20:38:19
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
资本市场辟谣平台:国常会“不再频繁救市”表态系谣言

资本市场辟谣平台:国常会“不再频繁救市”表态系谣言

界面新闻
2026-11-18 13:44:43
干得漂亮!央视切断开拓者比赛信号,开拓者外网官推被冲,球迷要求解雇诺里,杨瀚森有人为你出头了

干得漂亮!央视切断开拓者比赛信号,开拓者外网官推被冲,球迷要求解雇诺里,杨瀚森有人为你出头了

詹妹侃体育
2026-11-18 17:40:55
普京飞往深圳前,俄战机“闯入”日本领空,一路南下飞到台湾东侧

普京飞往深圳前,俄战机“闯入”日本领空,一路南下飞到台湾东侧

国际法大视野
2026-11-17 21:22:05
极限大逆转!CBA杯赛山东69-65广东,11冠王换帅还是输

极限大逆转!CBA杯赛山东69-65广东,11冠王换帅还是输

极度说球
2026-11-18 22:25:29
减仓幅度已创下二十年来最大

减仓幅度已创下二十年来最大

边际财经实验室
2026-11-18 19:56:02
当年为什么查办褚时健?

当年为什么查办褚时健?

百晓生谈历史
2025-08-20 21:55:53
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
中国政法大学教授刘纪鹏:A股36年涨3600点,问题出在哪?

中国政法大学教授刘纪鹏:A股36年涨3600点,问题出在哪?

江启
2026-11-18 12:45:18
大瓜,黄仁勋黄乐最新视频流出

大瓜,黄仁勋黄乐最新视频流出

小鱼爱鱼乐
2026-11-18 20:27:43
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
高市,如愿以偿?

高市,如愿以偿?

戎评
2026-11-18 13:57:26
33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

蓬勃新闻
2026-11-18 06:43:27
祝贺!中国成功连任

祝贺!中国成功连任

政知新媒体
2026-11-17 07:11:29
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
2026-11-18 22:52:49
数据猿DataYuan incentive-icons
数据猿DataYuan
数据智能产业创新服务媒体
3060文章数 623关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
亲子
游戏
时尚
教育

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

PC Gamer试玩GTA6百小时:双主角出色但任务重复

裤子+靴子,冬天最经典搭配,松弛又时髦

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

无障碍浏览 进入关怀版