北京
分享至
参数量不足17K的模型，换成103M到1.4B的Transformer，中间隔了数万倍的差距。开源音频转MIDI插件NeuralNote发布v2版本，把核心模型整个换掉了。
旧版依赖的是Spotify Basic Pitch，参数量不到17K。新版改用Kyutai与Mirelo打造的MuScriptor Transformer，参数量区间落在103M至1.4B。模型规模提升数万倍，转录精度也随之出现质的飞跃。
这次升级不只是换个更大的模型，功能面上有几处实打实的变化：
- 多乐器混音转录：突破单轨单声部的限制，可以直接解析一整段混音，并按乐器自动分类归纳成独立声部。
- 内置多乐器合成器：提供Gain、Mute、Solo控制，转录完就能在插件里直接调。
- 全本地推理：深度学习推理全部在本机GPU或CPU上跑完，工程音频不上传云端。
- 格式与授权：支持VST3、AU，另有独立客户端，100%开源免费。
多乐器混音转录这一项，对准的是扒带场景里最烦的那一步。以前要先把混音拆成单轨、再逐轨转，现在插件自己按乐器把音符归类成声部，省掉的是手工分离的环节。
本地推理则是另一条线。商业音乐制作对版权和工程隐私的要求摆在那里，音频一旦上传云端就多一层顾虑。NeuralNote v2把推理压在本机完成，工程文件不出机器，这条对在意音源版权的用户是硬需求。
从17K到1.4B，参数量的跨度是这次重构最直观的注脚。模型换了、能力扩了、推理留在本地，插件还是开源免费的。对编曲和采样工作流来说，这是一次值得重新装一遍的升级。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
