网易首页 > 网易号 > 正文 申请入驻

用 MiniMax M3,给无声视频,补上声音

0
分享至

MiniMax

先看一段视频

点击播放:14 秒,建议看完再往下翻

这段视频没有声音,来猜猜这是啥曲子?

揭晓答案

这是《小星星》,你猜对了吗?

我把这段无声视频丢给了 MiniMax M3,它给出了正确的判定:《小星星》


M3 的分析结果

然后,我追加了一个要求:

把这段的视频,做成一个有声的、能跟着弹的网页游戏


几分钟后,出来了这个东西:


跟弹《小星星》

视频嵌在上面当教学画面,键盘 A 到 H 对应 do re mi fa sol la,按对了电脑发出钢琴声,视频自动跳到下一个音的位置,等你按下一个键,错了则会提醒

在电脑上实际跟弹

整个过程就是:它拿到了一段的手指视频,给到了一个能发声、能互动、能教我弹琴的游戏

背后发生了什么

MiniMax M3 主打三大能力:原生多模态、百万级长上下文、前沿 Coding,而刚才的这个小星星任务,其实也正把这三个展示了出来

多模态。模型会逐帧分析手指和琴键的相对位置,标注每一帧按下的是哪个白键,然后翻译成位置信号,通过这种方法,在没有音频信号的前提下,推断出旋律

M3 思考过程

用 videos_understand 工具逐帧分析视频
音序列:C C G G A A G | F F E E D D C

判定:《小星星》前两句


长上下文。任务过程中,模型需要记录和分析每次手指移动的情况,并且不断推断音符的时间戳,然后对视频进行切片处理和打标,并在最后进行完整的交付

Coding。这个任务虽然看上去很小,但实际有着多种 tool call,还要通过如 Web Audio API 对工具进行实时音色合成、视频播放控制,按键判定,UI 动效。这里的所有声音,是 AI 控制震动频率合成的

M3 思考过程

用 Web Audio API 生成正弦波 + 三角波合成音色
A=C(do) S=D(re) D=E(mi) F=F(fa) G=G(sol) H=A(la)
按对推进,按错提示,做完打包


M3 在 MiniMax Code 里的工作过程,右边是产出的文件

讲道理,M3 能处理完这些,是超过我的预期的

MiniMax M3

昨天,6月1日,我在给酒吧开业的时候,看到了 MiniMax 发布了 M3,是国内第一个同时做到百万级上下文、前沿 Coding 和原生多模态开源模型,详细的信息如下:


官方 benchmark 对比

上下文

新架构MSA,把每个 token 的计算量压到上代模型的1/20。一百万 token 的上下文窗口,预填充快 9 倍,解码快 15 倍

直观理解:能一次读完一本 300 页的书,或者像小星星这样,把整段视频的逐帧分析 + 完整代码 + 调试日志全部放在一个对话里

Coding

SWE-Bench Pro59.0%,超 GPT-5.5 和 Gemini 3.1 Pro,接近 Opus 4.7

评测之外,M3 独立复现一篇 ICLR 2025 最佳论文,12 小时,18 次提交,23 张图表。另一个是优化 CUDA kernel,连续 24 小时,147次提交,性能提升 9.4 倍。中间卡壳了还知道换条路试

多模态

从训练第一步就混合了文字、图片、视频。能看图、看视频、操作电脑桌面。小星星那个「看无声视频识别旋律」就是这个能力的直接体现

MiniMax Code

桌面 Agent 产品,类似 Claude Code。支持多阶段并发执行,带 Computer Use。M3 在里面可以调用 MiniMax 全家的 API:文字、语音、视频分析,一个工具箱全装下

定价

Token Plan 三档:Plus49元/月 6 亿 token,Max119元/月 18 亿 token,Ultra469元/月 55 亿 token

M3 发布后,Token Plan 从时长制切换到了 token 计量制,部分老用户觉得权益缩水,反馈集中。MiniMax 当天发了补偿方案:3.22 前的老用户继续无周限额,其他老用户周限额加赠 50%,前 7 天额度翻倍,退款通道搭建中


官方权益调整说明

M3 API 上线 5 折,限时 7 天。技术报告和开源权重 10 天内发布

以及:这个模型还是不错的,可以试试

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
皇马2-1赢了!国米门将超级巨大失误!穆里尼奥迎二进宫欧冠首胜

皇马2-1赢了!国米门将超级巨大失误!穆里尼奥迎二进宫欧冠首胜

球叮足球
2026-09-09 09:49:04
黄埔四期状元实力被低估,回绝蒋介石招揽,授衔主动辞上将,伟人赞其才能不输自己

黄埔四期状元实力被低估,回绝蒋介石招揽,授衔主动辞上将,伟人赞其才能不输自己

唠叨说历史
2026-07-29 10:03:50
陈慧琳自曝长子将赴海外留学,主修心理学,17岁身高180cm像父亲

陈慧琳自曝长子将赴海外留学,主修心理学,17岁身高180cm像父亲

树娃
2026-09-07 13:49:15
泪目!大S粉丝在伦敦纪念长椅旁,举起装香槟的保温杯,向大S致敬!

泪目!大S粉丝在伦敦纪念长椅旁,举起装香槟的保温杯,向大S致敬!

八卦王者
2026-09-08 10:10:27
50岁翁帆近况曝光!现身杨振宁研究院揭牌仪式,瘦了很多,尖下巴都出来了

50岁翁帆近况曝光!现身杨振宁研究院揭牌仪式,瘦了很多,尖下巴都出来了

小徐讲八卦
2026-09-09 07:07:33
英国宣布制裁,以色列迅速报复

英国宣布制裁,以色列迅速报复

澎湃新闻
2026-09-09 08:49:09
央视直播郑钦文VS莱巴金娜,中国女篮VS波多黎各,同时开球谁能赢

央视直播郑钦文VS莱巴金娜,中国女篮VS波多黎各,同时开球谁能赢

体育大学僧
2026-09-09 08:39:01
过去车队敢怒不敢言,这次直接掀桌子,国内赛事的甲乙方要复位了

过去车队敢怒不敢言,这次直接掀桌子,国内赛事的甲乙方要复位了

天天热点见闻
2026-09-08 06:27:22
绿皮车迁走,上海站却仍日均20万客流,为何还要改造?

绿皮车迁走,上海站却仍日均20万客流,为何还要改造?

普陀动物世界
2026-09-09 00:37:06
没有毛主席就没有新中国?毛主席到底给新中国带来了什么?

没有毛主席就没有新中国?毛主席到底给新中国带来了什么?

静夜史君
2026-09-09 02:40:08
女篮世界杯8强出线形势!6队突围日韩遭淘汰:中国波多黎各争1席

女篮世界杯8强出线形势!6队突围日韩遭淘汰:中国波多黎各争1席

一缕阳光f
2026-09-09 07:46:40
广东接近签约博齐克,属全能锋线,硬实力出众,期待达成协议!

广东接近签约博齐克,属全能锋线,硬实力出众,期待达成协议!

篮球资讯达人
2026-09-09 00:44:41
连续5轮被看衰!郑钦文击败世界第2的概率仅13% 但比上一轮高了1%

连续5轮被看衰!郑钦文击败世界第2的概率仅13% 但比上一轮高了1%

风过乡
2026-09-09 07:13:16
刘朝瑞被查,我想起当年采访他的几个细节!

刘朝瑞被查,我想起当年采访他的几个细节!

李万卿
2026-09-08 00:30:05
特稿|塔利班执政五年:GDP涨了,阿富汗人的日子更难了

特稿|塔利班执政五年:GDP涨了,阿富汗人的日子更难了

澎湃新闻
2026-09-09 07:16:31
中国开始大量建造滚装船,美国感到形势不妙,这不就是登陆舰吗

中国开始大量建造滚装船,美国感到形势不妙,这不就是登陆舰吗

老脸科普君
2026-09-07 16:42:17
行程结束,美司令送走中国上将,台岛专家断言:美不敢和中方开战

行程结束,美司令送走中国上将,台岛专家断言:美不敢和中方开战

草叶君
2026-09-08 22:39:25
贵州省2名县处级干部接受纪律审查和监察调查

贵州省2名县处级干部接受纪律审查和监察调查

贵阳网
2026-09-09 10:03:59
明明是“戏混子”被硬捧成实力派,片酬8000万,这5位被高估了?

明明是“戏混子”被硬捧成实力派,片酬8000万,这5位被高估了?

梦醉为红颜一笑
2026-09-08 02:09:52
皇马主场球迷嘘维尼修斯,穆帅:只要维尼修斯肯拼搏,我就会支持他;阿诺德已经被榨干。

皇马主场球迷嘘维尼修斯,穆帅:只要维尼修斯肯拼搏,我就会支持他;阿诺德已经被榨干。

福酱的小时光
2026-09-09 09:59:14
2026-09-09 10:43:04
赛博禅心
赛博禅心
拜AI古佛,修赛博禅心
551文章数 58关注度
往期回顾 全部

数码要闻

苹果2026款Apple TV 4K曝光:升级A19芯片,支持Siri AI

头条要闻

两个孩子被胡蜂蜇上千次身亡 父亲:养蜂人至今未认罪

头条要闻

两个孩子被胡蜂蜇上千次身亡 父亲:养蜂人至今未认罪

体育要闻

16年后再破门,被皇马放弃的少年没认输

娱乐要闻

郭麒麟最便宜贵公子争议,本人未回应

财经要闻

8月CPI同比涨0.8% PPI环比由降转涨

科技要闻

AI重大突破!OpenAI称解开近百年数学难题

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

时尚
健康
房产
手机
军事航空

我要是这样翻盘一次,能吹一辈子

同样是脑梗,为何康复结局大不同?

房产要闻

砸388亿+首个方案出炉!三亚,又一片区要起飞!

手机要闻

华为小米两开花 从折叠屏新机看国产芯片路线

军事要闻

停止互袭首都3天后 俄乌猛烈交火

无障碍浏览 进入关怀版