网易首页 > 网易号 > 正文 申请入驻

从生成内容到进入物理世界:昆仑万维成宇首次系统拆解 Mureka、Matrix-Game、Riemann 的关键工程决策

0
分享至

责编 | 梦依丹

出品 | CSDN(ID:CSDNnews)

如果说过去的生成式 AI 解决的是「创造内容」,那么下一阶段解决的是「创造世界,以及在世界里行动」。

一首歌,要从随机生成走向结构可控。

一个世界,要从视频生成走向实时交互。

一台机器人,要从理解画面,走向预测动作之后会发生什么。

这三件事看起来不同,背后其实都在逼近同一个目标:让模型真正理解结构、环境与因果。

11 月 20—21 日,在 2026 奇点智能技术大会上,昆仑万维集团首席科学家成宇将第一次把这三条产品线放到一起系统复盘:Mureka v10 音乐模型、Matrix-Game 4.0 世界模型与 Riemann-1.0 机器人模型。

他现场分享的并不是模型 Demo,而是这些产品背后真正决定能不能落地的工程选择。

所以从 Mureka 到 Matrix-Game,再到 Riemann,真正被串起来的不是三条产品线,而是一条更大的技术路线:从生成内容,到建模世界,再到进入物理世界。


一位首席科学家的两条线索

成宇之所以来讲这三个方向,也和他过去的研发经历有关。

一条是产业侧的。2021 到 2023 年,成宇在微软雷德蒙德研究院任首席研究员,带团队与 OpenAI 紧密合作,参与 GPT-3.5、GPT-4 和 DALL-E 的优化微调,推动这些模型的服务与应用落地。从 2023 年到 2025 年,他主导或者参与了 Minimax abab6.5、M1/Hailuo Video 等模型的研发落地。 现在,他是昆仑万维集团首席科学家。

另一条是学术侧的。他任南洋理工大学讲席副教授,累计在 NeurIPS、ICML、ICLR 等人工智能顶会,以及 Nature、Science 及其子刊发表论文 100 余篇。他还担任 ICML 和 NeurIPS 高级领域主席,CVPR、ICLR、ACL、ACMMM、NAACL 领域主席,以及 TMLR、TIST 杂志责任编辑。论文曾获 NeurIPS 2023 杰出论文奖、WACV 2021 最佳学生论文荣誉奖、SDM 2015 最佳论文入围奖。

串起这两条线索的,是他的研究方向:模型高效架构、模型压缩、混合专家模型、多模态大模型。

这几个词指向同一件事,用更小的代价换更好的效果。模型压缩让模型变小变快,MoE 让每次推理只激活一部分参数,高效架构则在结构层面重新算这笔账。

回头看开头那三个词,结构、环境、因果,它们分属三个方向,落地时却撞上同一类约束:模型要够小、够快、够省,才谈得上可控、实时和泛化。而这恰好是他一直在做的事。


Mureka v10:结构可控,让音乐从随机走向编排

AI 生成音乐这两年进步很快,但有个问题一直没被彻底解决:段落随机性。

落到产品上,这就成了可用性问题。用户要的通常不是「再来一段」,而是「三段式、两分钟、情绪从低到高推上去的配乐」。

Mureka v10 给出的解法,是 DiT 混合架构下的「结构可控生成」。

DiT 用 Transformer 替换传统扩散模型里的 U-Net 骨干,已经是高质量音频与视频生成的主流选择。而「混合」意味着它不是单一架构,而是在结构控制与生成质量之间做取舍。

这条路径要解决的正是段落随机性这个顽疾:让结构成为可控变量,而不只是采样之后的运气。

架构怎么搭、控制条件怎么注入、结构约束和生成自由度之间怎么平衡,会是现场展开的部分。


Matrix-Game 4.0:实时交互,让世界从视频走向可玩

世界模型今年很热,但「生成能交互的游戏画面」和「生成能玩的游戏」之间,隔着一个很硬的限制:速度。

扩散模型需要多步去噪才能出一帧。离线生成可以接受,实时交互不行。

Matrix-Game 4.0 的做法分两步:

  • 第一步是画面:以创作的低模游戏画面为参考,输出重渲染的精细游戏画面。内容层用低成本的低模画面定义,呈现层由模型实时重渲染成高精度画面,这把「生成什么」和「渲染成什么样」拆成了两个问题。

  • 第二步是速度:采用 causal + DMD 蒸馏。causal 保证生成过程的因果性,让模型可以流式地产出连续帧。DMD 则把多步去噪压缩到极少步数。

目标很明确,让生成速度达到实际游玩的门槛。

这一步跨过去,一个「世界」才不只是被生成出来的视频,而是可以进入、可以交互的环境。


Riemann-1.0:因果预测,让机器人看懂走向预判

对应到机器人身上,要求就不只是看懂画面,还要能预判一个动作之后会发生什么。这一步跨过去,模型才算真正进入物理世界。

Riemann-1.0 是昆仑万维的机器人模型,这场分享公开的是它的三阶段渐进式预训练体系。

机器人基础模型的难点和文本、图像不太一样。

第一个在数据:来源极其分散,遥操作轨迹、人类视频、仿真数据、不同传感器的记录,格式和质量差异都很大。Riemann-1.0 建了一条自动化的多源数据清洗管线,处理规模是 23.2 万小时。这个量级决定了清洗只能靠管线,不可能靠人工。

第二个在泛化:不同机器人的本体结构、自由度、传感器配置各不相同,在 A 型上训好的策略,换到 B 型可能完全失效。Riemann-1.0 公开的跨本体迁移策略,针对的就是这件事。

三阶段渐进式预训练、自动化清洗管线、跨本体迁移,三个词背后是一整套工程选择。这场分享讲的是这些选择是怎么做出来的。


一场复盘,比一场发布更有信息量

成宇分享的内容全部源自真实研发复盘,也是这三条产品线关键工程决策的首次系统性拆解。哪些决策是在什么约束下做出的、哪些方案被否掉了、哪些环节的效果和预期不一样。对正在做生成式 AI 的团队来说,这些往往更难拿到,也更有用。

这场分享只是 2026 奇点智能技术大会众多议题中的一个切面。

大会将于 11 月 20-21 日在北京万达文华酒店举行,届时,2026 C++ 及系统软件技术大会也将同期举行。 上层 AI 应用的爆发,离不开底层系统软件的支撑,两条技术脉络将在同一个现场交汇。

两场大会共规划 18 大前沿专题,围绕 RSI、Agent、世界模型、Physical AI、AI Infra、AI 原生软件研发等个前沿方向展开,从模型能力一路讨论到工程体系与真实业务落地。

目前已经确认的嘉宾阵容覆盖了 AI 技术演进的多个关键方向,其中包括:

  • Łukasz Kaiser OpenAI 资深研究科学家、Transformer 八子之一

  • 段楠 京东集团副总裁、京东探索研究院副院长

  • 张俊林 新浪微博首席科学家及 AI 研发部负责人

  • 李宇轩 面壁智能技术合伙人、智能进化首席科学家

  • 俞扬 南京大学人工智能学院副院长、教授

  • 董汉德 腾讯 WorkBuddy 模型研发负责人

  • 郑鑫祺 小红书 AI Coding 总架构师

  • 郑耀威 PrismShadow(千影光流)联合创始人兼 CTO、LlamaFactory 作者

当 AI 从模型走向系统、走向生产,我们到底需要怎样的新技术栈?

对正在做世界模型、多模态生成、具身智能的团队来说,成宇这场尤其值得留 意。它讲的不是「做出了什么」,而是「怎么做出来的」。

现在注册报名参会,还可领取《AI 原生软件研发成熟度模型 AISMM 2026》白皮书。

AISMM 不是一份「AI 工具清单」,而是一套面向企业 AI 原生研发转型的系统坐标系。它从基础设施、知识工程、流程工具、组织人才、安全治理五个维度切进去,把成熟度分成五个阶段:L1 辅助提效、L2 领域集成、L3 Agent 协同、L4 自主代理、L5 自进化工厂。

这套坐标系,是为了帮企业和技术 Leader 回答三个最关键的问题:我们现在在哪?下一步该往哪里走?应该优先补哪块能力?

白皮书同时提供成熟度自评、行业对标与演进路线图,可用于识别 AI 转型中的短板,避免只买工具、不改体系,把个体提效真正转化为组织级生产力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
又放错了!日本官员道歉

又放错了!日本官员道歉

环球时报国际
2026-10-22 07:46:32
佟丽娅回应董璇婚礼表情争议,坦言累到走神发呆

佟丽娅回应董璇婚礼表情争议,坦言累到走神发呆

语妍视频剪辑
2026-09-19 06:05:44
张亮打卡张亮麻辣烫总部 此前随口一提引多门店邀约

张亮打卡张亮麻辣烫总部 此前随口一提引多门店邀约

可乐谈情感
2026-10-22 14:31:33
中美差距又拉开了!055和美军舰海上过招,才发现美海军早就虚了

中美差距又拉开了!055和美军舰海上过招,才发现美海军早就虚了

观锐器
2026-10-16 15:50:02
存款大局落地?明年1月开始,银行存款利率或迎来4大转变

存款大局落地?明年1月开始,银行存款利率或迎来4大转变

平说财经
2026-10-22 13:10:29
李小冉果然说的没错,《伟大的长征》中于和伟就是最好的证明

李小冉果然说的没错,《伟大的长征》中于和伟就是最好的证明

江启
2026-10-21 08:02:52
曹德旺当年反对女儿嫁给厦大高材生,理由只有一句:他太优秀了!14年后,这个女婿拿到的不是聘书,而是福耀的一份重任

曹德旺当年反对女儿嫁给厦大高材生,理由只有一句:他太优秀了!14年后,这个女婿拿到的不是聘书,而是福耀的一份重任

背包旅行
2026-09-03 15:48:21
社保鼻祖的养老金也撑不住了。

社保鼻祖的养老金也撑不住了。

流苏晚晴
2026-10-22 12:31:40
小三怀双胞胎后婆家给了我8亿补偿金,我爽快答应离婚,他再婚当天,收到我寄的三胞胎亲子鉴定后当场崩溃

小三怀双胞胎后婆家给了我8亿补偿金,我爽快答应离婚,他再婚当天,收到我寄的三胞胎亲子鉴定后当场崩溃

三更写故事
2026-08-27 22:40:03
德门蒂耶娃:安娃很出色,只是遇见了不可逾越的屏障——郑钦文

德门蒂耶娃:安娃很出色,只是遇见了不可逾越的屏障——郑钦文

网球之家
2026-10-22 13:12:15
哈佛20年研究发现:男人能做几个俯卧撑,就是身体衰老的照妖镜!

哈佛20年研究发现:男人能做几个俯卧撑,就是身体衰老的照妖镜!

千秋文化
2026-10-14 20:49:11
官方:辽宁队克里斯做出侮辱性手势罚款5万元;乌戈罚款1万元

官方:辽宁队克里斯做出侮辱性手势罚款5万元;乌戈罚款1万元

懂球帝
2026-10-22 13:23:36
44岁副院长同学聚会后坠亡!车撞了人没事,下车那一刻却要了命

44岁副院长同学聚会后坠亡!车撞了人没事,下车那一刻却要了命

做一个合格的吃瓜群众
2026-10-11 19:50:12
文旅逻辑:凡是政策大力鼓励,全国都在干的,基本就是坑!

文旅逻辑:凡是政策大力鼓励,全国都在干的,基本就是坑!

谣谈乡村振兴
2026-10-18 00:02:53
金与正警告,“必将招致严重灾祸”

金与正警告,“必将招致严重灾祸”

中国新闻周刊
2026-10-20 14:03:11
深度长文:男人为何总纠结尺寸?数据告诉你,焦虑从来不是为了取悦女人!

深度长文:男人为何总纠结尺寸?数据告诉你,焦虑从来不是为了取悦女人!

宇宙时空
2026-10-19 11:53:13
名字太长办事难?蒙古族汉姓妙招,维吾尔族身份证也能更简洁

名字太长办事难?蒙古族汉姓妙招,维吾尔族身份证也能更简洁

时尚的弄潮
2026-10-22 02:49:21
塔什干亚锦赛:世界冠军“大翻车”!王艺迪剃光头,蒯曼赢麻了

塔什干亚锦赛:世界冠军“大翻车”!王艺迪剃光头,蒯曼赢麻了

林子说事
2026-10-22 12:18:57
全网呼吁统一养老金,决策层却为何选了另一条路?

全网呼吁统一养老金,决策层却为何选了另一条路?

你在偷看谁
2026-10-09 18:40:35
外媒:伊朗最高领袖穆杰塔巴同议长会面

外媒:伊朗最高领袖穆杰塔巴同议长会面

参考消息
2026-10-22 12:31:12
2026-10-22 15:23:00
CSDN incentive-icons
CSDN
成就一亿技术人
27067文章数 242344关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

中国游客在济州岛民宿捡到中国人的手机 发帖寻到失主

头条要闻

中国游客在济州岛民宿捡到中国人的手机 发帖寻到失主

体育要闻

热闹的NBA回来了,他却倒在新赛季大门口

娱乐要闻

杜淳王灿近况曝光:铁婚六年甜上热搜

财经要闻

为卖房,有房企花20万拍短剧

汽车要闻

有七座/续航提升 领克900L曝光还可选双色车身+大饼轮毂

态度原创

数码
艺术
旅游
教育
房产

数码要闻

内存才640KB!网友衣柜里翻出40年前286兼容机:电池都漏液了

艺术要闻

这个98年的英国小哥,最近在中国很火

旅游要闻

最是橙黄橘绿时,南京“最美600米”斑斓上线

教育要闻

学霸是盯出来的,初中盯紧3件事,中考就稳了

房产要闻

2026国际新消费(医疗)旅游服务出海论坛在海口盛大举办

无障碍浏览 进入关怀版