AI 正在学会“听懂”一首歌：MuScriptor 可将多乐器音乐自动转成 MIDI
近日，法国人工智能实验室 Kyutai 联合 Mirelo AI 发布了开源音乐转录模型 MuScriptor。
它的核心能力可以概括为一句话：
输入一段完整音乐，AI 自动识别其中不同乐器演奏的音符，并将其转录为可编辑的 MIDI 轨道。
无论是流行、古典、爵士还是金属音乐，MuScriptor 都试图从混合音频中识别钢琴、吉他、贝斯、鼓、弦乐等不同声部，并还原每个音符的音高、开始时间、持续时长和节奏位置。
这项技术的意义，不只是“把音乐变成乐谱”，而是让原本难以修改的成品音频，重新变成可以继续编辑的音乐素材。
什么是 MIDI？
MIDI 不是录音，也不直接保存声音。
它更像是一份数字化演奏指令，记录了：
演奏了哪个音符；音符何时开始；持续多长时间；演奏力度多大；使用什么乐器播放。
例如，一段钢琴 MIDI 可以被替换成电钢琴、小提琴、古筝或合成器音色，而音符和节奏仍然保持不变。
因此，音频转 MIDI 的真正价值在于：让音乐重新变得可编辑。
MuScriptor 难在哪里？
如果音频中只有一架钢琴，识别音高和节奏相对容易。
但真实歌曲通常包含多种声音：
人声；钢琴；吉他；贝斯；鼓；弦乐；合成器；各类效果音。
这些声音在最终音频中叠加在一起。AI 不仅要判断“这里出现了什么音符”，还要判断“这个音符属于哪一种乐器”。
这涉及多个复杂环节：
区分不同乐器；判断音高；判断音符起止时间；识别和弦与复音；识别鼓点和节奏；将结果整理成多轨 MIDI。
因此，多乐器自动转录一直是音乐人工智能领域中较难的问题。
MuScriptor 的重要性就在于，它不是简单地把整首歌粗略转成一条 MIDI，而是尝试将不同乐器分别转录到独立轨道中。
它可以用来做什么？1. 自动扒谱
过去，音乐人需要反复听歌，手动判断旋律、和弦和节奏。
有了音乐转录模型后，可以先由 AI 生成初步 MIDI，再由人工校正，大幅降低扒谱成本。
这对于钢琴谱、吉他谱、乐队总谱和音乐教学都有直接价值。
2. 修改 AI 生成歌曲
Suno、Udio 等工具生成的通常是混合完成后的音频。
创作者虽然可以听到最终效果，却很难单独修改其中某个声部。
借助 MuScriptor，未来可能形成这样的工作流程：
AI 生成歌曲↓导出音频↓转换为多轨 MIDI↓导入 Logic、Cubase、Ableton 或 FL Studio↓修改旋律、和弦、节奏和配器↓重新制作成品
这意味着，AI 音乐不再只是“一键生成、整体重做”，而是逐步变得可编辑、可控制。
3. 制作伴奏和改编版本
将歌曲转成 MIDI 后，可以：
删除主旋律，制作伴奏；替换乐器音色；调整速度和调性；修改和弦；制作钢琴版、管弦乐版或电子版；为短视频和游戏重新编配音乐。
对于卡拉 OK、翻唱、音乐二创和内容制作，这类能力非常实用。
4. 辅助音乐教学
学生可以上传一段音乐，获得近似的 MIDI 或乐谱，再分析：
主旋律如何进行；和弦如何变化；贝斯如何配合；鼓点如何组织；不同声部如何组合。
AI 可以把“只能靠耳朵听”的音乐，转化为更直观的钢琴卷帘和乐谱结构。
5. 服务游戏和互动音乐
MIDI 比普通音频更容易被程序控制。
在游戏中，可以根据场景实时：
改变速度；切换乐器；增减声部；调整情绪；根据玩家行为重新编曲。
如果游戏开发者能够快速把参考音乐转成结构化 MIDI，制作自适应音乐的门槛也会降低。
它并不等于完美分轨
需要注意的是，音乐转 MIDI 和音频分轨并不是完全相同的事情。
音频分轨是把一首歌分成鼓、人声、贝斯等声音文件；音乐转录则是识别其中演奏了哪些音符，并输出 MIDI。
MuScriptor 输出的是音乐结构，而不是原始乐器录音。
同时，复杂音乐中仍然可能出现识别误差，例如：
乐器音色相似；多个声部同时演奏；混响和失真较强；鼓点过密；人声和乐器频率重叠；滑音、颤音和装饰音难以准确表示。
因此，它更适合作为高效率的“初稿生成工具”，而不是完全替代专业音乐人的最终校对。
更大的意义：AI 不只是生成音乐，也开始理解音乐
过去几年，AI 音乐最受关注的方向是：
文本生成音乐。
用户输入一句描述，模型就能生成完整歌曲。
而 MuScriptor 代表的是另一个方向：
音乐转化为结构化信息。
它让 AI 从“制造声音”进一步走向“理解音乐”。
当音乐生成、音源分离、多乐器识别、MIDI 转录和自动编曲结合起来后，未来的 AI 音乐工具可能不再只是生成一段无法修改的音频，而是直接生成：
可编辑旋律；可调整和弦；独立乐器轨道；MIDI 工程；乐谱；完整编曲项目。
这将使 AI 音乐从“一键出歌”，走向真正的智能音乐制作。
对于音乐人、教育机构、游戏开发者以及使用 Suno 等平台的普通创作者来说，多乐器音乐转录模型的价值，可能并不低于音乐生成模型本身。
