网易首页 > 网易号 > 正文 申请入驻

百度百舸Meetup在京举办 推理基础设施助力Agent规模化落地

0
分享至

9月22日,百度智能云联合SGLang社区举办“Agent时代的推理基础设施:百度百舸 × SGLang生产级实践”Meetup,围绕多芯适配、上下文缓存、KV Cache优化、显存优化、MoE专家压缩和推理服务治理等议题,探讨Agent走向生产环境所需要的推理底座。



从多芯适配到上下文复用 让Agent更快地跑起来

当前,Agent不再只是生成一次回答,而是需要理解目标、拆解任务、调用工具,并在多轮交互中持续推进。上下文能否复用、超大模型能否高效部署、复杂请求能否稳定调度,都将影响Agent的任务完成效率和规模化应用成本。

一次真实的Agent任务,往往包含多轮推理和工具调用。随着任务推进,输入上下文持续增长,不同轮次之间也存在大量重复内容。如果每轮交互都从头计算,响应速度和推理成本都会受到影响。

公开基准数据显示,在393条真实Agentic Coding任务轨迹中,输入输出比中位数达到213∶1,极端情况下输入序列长度可达67.5万Token。Agent工作负载正在呈现长输入、多轮次、强复用的特征。

因此,Agent时代的推理基础设施不能只关注模型一次“答得多快”,还要关注一项任务能否连续、稳定、低成本地完成。要实现这一目标,推理基础设施需要从底层硬件适配、计算效率优化到上下文管理进行系统性升级。

在多芯适配方面,sglang-kunlun插件打通SGLang与昆仑芯,降低模型迁移和适配门槛。百度百舸还推动SGLang社区建立硬件可插拔插件机制,并从芯片算子、任务下发和通信等层面进行优化。

在上下文缓存方面,SGLang社区分享了从RadixAttention到Unified Radix Cache的技术演进。通过统一缓存管理体系,不同类型的KV Cache可以实现高效复用。在现场分享的实践数据中,FULL与SWA混合模型在多轮HiCache场景下命中率达到96.8%,平均首字时延为1.23秒。

不止模型跑得快 也要让整套服务稳定可控

面对超大模型部署,百度百舸通过权重零冗余分布式部署、显存占用优化和MoE专家压缩,释放更多显存空间,为长上下文和高并发任务提供资源支撑。

在相关测试中,MoE专家压缩50%后,长输出和高并发场景下的输出吞吐峰值可达到原来的2.23倍。对Agent而言,这不仅意味着节省显存,也意味着相同算力资源可以承载更多任务。

当Agent进入生产环境,仅仅提高模型速度还不够。百度百舸从流量、负载和集群缓存三个层面进行服务治理,通过动态调度、变长行为感知分桶和KV Cache无感热迁移,让请求进入更加合适的推理实例。

同时,百度百舸构建多级缓存体系,并通过全链路命中率漏斗定位缓存损失环节,提升复杂负载下的服务稳定性。

模型能力之外 看见Agent的真实问题

本次活动还设置了闪电演讲环节。SGLang核心贡献者张晓雨围绕推理服务部署和AI Infra工程自动化展开分享;元神智算CEO蓝衣剑客从标准与生态角度分享Agent发展趋势;万涂幻象社区主理人李祥瑞则聚焦上下文与主体连续性,讨论Agent如何在真实系统中保持状态、完成交付并应对故障恢复。

三位嘉宾的分享共同指向一个变化:Agent的价值不只是“更会回答”,而是能够在连续上下文中理解任务、调用能力并完成交付。百度智能云将继续与SGLang等技术社区及更多开发者开展技术共建,助力Agent从单点尝试走向规模化落地。

模型能力决定Agent能够解决什么问题,推理基础设施则决定这些能力能否被稳定、低成本地交付。百度百舸正在把推理能力从单点性能优化,扩展为覆盖模型适配、上下文复用、资源管理和服务治理的完整体系,帮助Agent跑得更快、更省、更稳。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
真被马斯克说中?全球争抢的不是芯片,而是中国20万一台的变压器

真被马斯克说中?全球争抢的不是芯片,而是中国20万一台的变压器

小莜读史
2026-11-07 17:58:29
9人得分入账,辽宁男篮杯赛迎开门红,鄢手骐复出17+9,姜宇星16+6+6全能

9人得分入账,辽宁男篮杯赛迎开门红,鄢手骐复出17+9,姜宇星16+6+6全能

替补席看球
2026-11-18 21:51:48
大意外!卞相壹难挡白棋攻势,李钦诚抢占先机夺三星杯赛点!

大意外!卞相壹难挡白棋攻势,李钦诚抢占先机夺三星杯赛点!

L76号
2026-11-18 14:58:57
到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

好爸育儿
2026-11-13 08:33:19
每体:莱万温暖致意冲场波兰球迷,除合影之外还送出球衣

每体:莱万温暖致意冲场波兰球迷,除合影之外还送出球衣

懂球帝
2026-11-18 21:50:11
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
张子宇一生之敌?日本归化中锋单场59分33板太恐怖 但性别引发争议

张子宇一生之敌?日本归化中锋单场59分33板太恐怖 但性别引发争议

大嘴爵爷侃球
2026-11-18 10:00:33
罗纳尔多选历史最佳阵:C罗、梅西和自己搭档三叉戟,门将布冯

罗纳尔多选历史最佳阵:C罗、梅西和自己搭档三叉戟,门将布冯

懂球帝
2026-11-18 17:18:05
多所高校要求师生在论文发表前完成备案,否则不纳入科研成果

多所高校要求师生在论文发表前完成备案,否则不纳入科研成果

澎湃新闻
2026-11-18 12:14:07
交锋15连胜!尼克斯逆转猛龙 布伦森31分关键3+1唐斯16+16+8

交锋15连胜!尼克斯逆转猛龙 布伦森31分关键3+1唐斯16+16+8

醉卧浮生
2026-11-18 10:57:07
新加坡总理黄循财已到中国深圳!APEC4天访华行程曝光

新加坡总理黄循财已到中国深圳!APEC4天访华行程曝光

新加坡万事通
2026-11-18 20:05:06
中国与日本有着不共戴天之仇,为何还有140多万华人居住在日本?

中国与日本有着不共戴天之仇,为何还有140多万华人居住在日本?

文史达观
2026-11-18 06:45:19
又是0,央5直接弃播,杨瀚森,真是太烧心了……

又是0,央5直接弃播,杨瀚森,真是太烧心了……

体育新角度
2026-11-18 21:51:45
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
为什么格莱姆斯状态这么猛?必须要感谢三个人

为什么格莱姆斯状态这么猛?必须要感谢三个人

球毛鬼胎
2026-11-18 18:45:13
迪拜首富之女重病赴华寻求中医,中医扎五根银针,开口便让他们傻眼

迪拜首富之女重病赴华寻求中医,中医扎五根银针,开口便让他们傻眼

萧竹轻语
2025-10-13 11:40:11
发现中国一个奇怪的现象:只要有公婆帮扶的家庭,儿媳都忙着回公婆家;而公婆不帮的家庭,儿媳早已断联!

发现中国一个奇怪的现象:只要有公婆帮扶的家庭,儿媳都忙着回公婆家;而公婆不帮的家庭,儿媳早已断联!

心理观察局
2026-08-01 07:10:30
黄埔一楼盘打6折拍卖大批车位,仅需3万起

黄埔一楼盘打6折拍卖大批车位,仅需3万起

老覃讲历史
2026-11-18 14:32:17
老黄事件后,美开始全面封堵追踪芯片、包括云算力出租,并建圈子

老黄事件后,美开始全面封堵追踪芯片、包括云算力出租,并建圈子

邵旭峰域
2026-11-18 13:40:14
除夕夜晚上,亲戚轮番挖苦我,我没闹直接取消二叔的升职,他们懵了

除夕夜晚上,亲戚轮番挖苦我,我没闹直接取消二叔的升职,他们懵了

红豆讲堂
2025-05-05 11:25:03
2026-11-18 22:43:00
数据猿DataYuan incentive-icons
数据猿DataYuan
数据智能产业创新服务媒体
3059文章数 623关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
数码
房产
艺术
公开课

裤子+靴子,冬天最经典搭配,松弛又时髦

数码要闻

34999元起,华硕RTX Spark迷你主机ProArt GR1X发售

房产要闻

周大生出手!海棠湾又一大商业体来了

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版