众力资讯网

MOSS-Transcribe-Diarize 是什么?一文看懂这款多说话人语音识别模型

整理多人会议的录音,最费劲的往往不是把话记下来,而是分清每句话是谁说的、什么时候说的。几个人轮流发言,有人中途插话,有时两三个人还会同时开口。常见的做法是把任务拆给三个模型:语音识别转文字,说话人分离区分是谁在说,时间对齐标出每句话的起止时间。录音一长,还要先切成小段分别处理,最后再拼回去,拼接处的错漏只能靠人工逐段校对。

模思智能与OpenMOSS推出的MOSS-Transcribe-Diarize(MOSS多说话人语音转录模型)把这几步合并成一步完成。它是一个端到端模型,输入整段录音,就能直接输出带时间戳和说话人编号的文字稿。这个系列目前有两个版本:开源的MOSS-Transcribe-Diarize0.9B,以及能力更强的旗舰版MOSS-Transcribe-DiarizePro。

MOSS-Transcribe-Diarize0.9B于2026年7月9日开源,以Apache-2.0许可公开代码和权重。它的参数规模为0.9B,支持128Ktoken上下文,约90分钟的录音可以一次处理完。在多说话人会议测试集AISHELL-4上,它的字符错误率(CER)为14.84%,计入说话人归属的错误率(cpCER)为15.83%,两项成绩都好于官方对比的豆包、ElevenLabs、Gemini等5个第三方系统。它还获得了INTERSPEECH2026第二届MLC-SLM挑战赛Task1(多语种对话语音说话人分离与识别)第一名。

旗舰版MOSS-Transcribe-DiarizePro的准确率更高。在官方公布的四个测试集上,它的成绩都好于0.9B,其中AISHELL-4上的cpCER从15.83%进一步降到14.02%。

一、MOSS-Transcribe-Diarize的定义、版本与团队

MOSS-Transcribe-Diarize是一款端到端的多说话人语音识别模型,要回答的是一段录音里“谁在什么时候说了什么”。名字中的Diarize取自SpeakerDiarization(说话人分离),即判断录音中每段语音分别属于哪位说话人。

两个版本的定位不同:开源的MOSS-Transcribe-Diarize0.9B按官方说明支持50多种语言,适合本地部署、二次开发和微调;旗舰版MOSS-Transcribe-DiarizePro不开源,通过MOSSAPI以在线服务的形式提供。

MOSS-Transcribe-Diarize由模思智能与OpenMOSS共同推出。OpenMOSS是上海创智学院、复旦大学NLP实验室与模思智能共建的研究团队。在这套产学研合作中,OpenMOSS承担前沿模型研究与开源发布,模思智能负责工程化、产品落地和商业化,旗舰版Pro的在线服务也由模思智能提供。

二、MOSS-Transcribe-Diarize的核心能力

MOSS-Transcribe-Diarize具备语音转写、说话人区分、时间戳预测、重叠语音处理和热词增强五项能力,还可以按需标注非语音事件。技术报告开篇用一张能力概览图,把这些特点归纳成四组关键词。

图注:MOSS-Transcribe-Diarize能力概览:从带时间戳的结构化分段、多语种转写、事件与重叠标注、长音频说话人追踪四个方面概括模型特点

图的四角各对应一组关键词:Timestamped(时间戳)指输出按段组织,每段带起止时间和稳定的说话人编号;Multilingual(多语种)指模型逐段识别语种,语种切换时说话人编号保持不变;Event&Overlap(事件与重叠)指可以按需标注非语音事件、重叠语音和插话;Long-Form(长音频)指模型能处理小时级录音,并持续追踪每位说话人。

转写、说话人与时间戳一次输出

传统方案里,识别、分离、对齐各由一个模型负责,前一环出了错,后一环会跟着出错。MOSS-Transcribe-Diarize把三项任务统一为一个生成任务,一次输出就同时给出时间、说话人和文字。

输出按段排列,每段依次包含开始时间、说话人编号、文字和结束时间,例如“[1.11][S02]Morning,guys![1.34]”和“[1.20][S03]Hi,everyone![1.44]”。这两段发言在1.20到1.34秒之间重叠,模型仍把两人的话分别记录下来。真实对话中,抢话、插话和附和都会造成这样的重叠,MOSS-Transcribe-Diarize在训练时专门模拟了这类情况。

模型输出的是一段连续文本,时间以秒为单位。仓库自带的解析函数可以把它拆成开始时间、结束时间、说话人和文本四个字段。说话人用匿名编号区分,同一个人在整段录音中编号不变,接入业务系统时只需把编号对应到参会人姓名。

约90分钟长音频整段处理

长录音如果切片处理,切口处的句子容易被截断,同一个人在不同片段里可能被分到不同编号,拼接后的时间戳也可能错位。MOSS-Transcribe-Diarize可以整段处理长录音,不需要切片,模型在整段录音中持续追踪每位说话人。以开源的0.9B为例,它的128Ktoken上下文可以容纳约90分钟的连续音频。

官方评测中的AISHELL-4和Podcast都是长音频,并且都按整段处理。AISHELL-4是5到7人参与的真实会议,单条平均约38分钟;官方自建的Podcast测试集平均约44分钟,最长约61分钟,说话人数为2到11位。

三、MOSS-Transcribe-Diarize的技术原理

MOSS-Transcribe-Diarize的思路,是把“谁在什么时候说了什么”整体当成一段文字来生成。以开源的0.9B为例,它由两部分组成:Whisper-Medium配置的音频编码器负责“听”,Qwen3-0.6B风格的因果解码器负责“写”。

图注:MOSS-Transcribe-Diarize模型架构:音频编码器提取声学特征,自回归语音大模型直接输出带时间戳和说话人编号的转写序列

架构图从左下角读起。输入的音频波形先经音频编码器(AudioEncoder)转成一串声学特征,这些特征在时间上合并压缩到原来的四分之一,再经MLP适配器转换,送进上方的自回归语音大模型(AutoregressiveSpeechLLMs),也就是因果解码器。解码器逐段写出带时间戳和说话人编号的结果。右下角的图例表明,编码器和解码器都参与训练。

时间怎么表示,是这套方案的关键。如果只让模型根据特征在序列里的位置去推算时间,录音越长越容易算偏。MOSS-Transcribe-Diarize的做法是把格式化的时间戳文本直接插在各段音频特征之间,相当于给模型配了一把刻度尺。时间变成了模型能直接读写的文字,小时级录音也能得到准确的段级时间戳,说话人归属同样保持稳定。

训练数据分两部分:一部分是从互联网收集的多语种真实对话,覆盖不同的口音、声学环境和领域,让模型熟悉自然的说话方式;另一部分是按属性控制生成的模拟对话,专门用来补充难例。每段模拟对话有2到12位说话人,既有轮流发言,也有语音重叠,重叠最长可达两段语音中较短一段的80%。音频中还叠加了真实噪声和混响,信噪比控制在0到15dB,用来模拟多人抢话、环境嘈杂等场景。

四、MOSS-Transcribe-Diarize的评测表现

从官方评测和公开比赛的结果看,MOSS-Transcribe-Diarize在多说话人转写上表现突出。官方在会议、多嘉宾播客和影视片段等四个测试集上做了对比,MOSS-Transcribe-Diarize0.9B的cpCER都好于参与对比的第三方系统,旗舰版Pro又好于0.9B。在第三方组织的MLC-SLM挑战赛中,0.9B也获得了多语种对话语音说话人分离与识别任务(Task1)的第一名。

AISHELL-4会议转写

AISHELL-4是公开的真实会议室数据集,采用远场录音,语音重叠较多。官方在这个数据集上用三项指标做对比,数值都是越低越好:CER是字符错误率,只衡量文字是否转写准确;cpCER先把每位说话人的话分别拼接再计算错误率,同时考核内容和说话人归属;Δcp是两者之差,表示加入说话人归属后多出的错误,数值越小,说明说话人区分越稳定。

参与对比的有5个第三方系统,包括豆包语音识别模型、ElevenLabs、Gemini2.5Pro和Gemini3Pro这4个闭源商用系统,以及开源的VibeVoiceASR。MOSS-Transcribe-Diarize0.9B在三项指标上的成绩都好于这5个系统:

CER为14.84%,领先成绩第二的豆包(18.18%)3.34个百分点;

cpCER为15.83%,领先成绩第二的VibeVoiceASR(24.99%)9.16个百分点;

Δcp为0.99,VibeVoiceASR以3.59位列第二,4个闭源商用系统都在4.68以上。

Δcp不到1,说明计入说话人归属后,错误率几乎没有增加。在平均约38分钟的会议录音中,模型能够较稳定地区分每位说话人。

图注:AISHELL-4多说话人会议转写:7个系统在CER、cpCER、Δcp三项指标上的对比,数值越低越好

这张对比图把三项指标分成三组,每组左侧五根灰色柱是对比系统,橙色柱是MOSS-Transcribe-Diarize0.9B,最右侧的红色柱是旗舰版MOSS-Transcribe-DiarizePro。柱子越短,成绩越好。三组中两根MOSS柱子都短于所有对比系统,Pro的柱子又比0.9B更短,对应的CER、cpCER、Δcp分别为13.78%、14.02%和0.24。

四个测试集的cpCER对比

官方还在Alimeeting会议集、多嘉宾长播客Podcast和语音重叠较多的影视片段Movies上做了测试。下表对比MOSS-Transcribe-Diarize0.9B与4个第三方模型的cpCER,这4个模型在四个测试集上都有公开成绩:

模型

AISHELL-4

Alimeeting

Podcast

Movies

MOSS-Transcribe-Diarize0.9B

15.83

22.17

7.37

12.76

Doubao

27.86

37.57

10.54

30.88

ElevenLabs

37.95

36.69

11.34

17.85

VibeVoiceASR

24.99

29.33

48.30

42.54

Gemini2.5Pro

53.42

41.64

10.23

24.15

表注:表中数值为cpCER(%),越低越好。数据来自MOSS-Transcribe-Diarize官方评测,其中Podcast、Movies为官方自建测试集。Doubao即豆包语音识别模型。

四个测试集上,MOSS-Transcribe-Diarize0.9B的cpCER成绩都排在表中首位,领先最多的是长会议AISHELL-4。在Alimeeting上,它领先成绩第二的VibeVoiceASR(29.33%)7.16个百分点;在Podcast和Movies上,成绩第二的分别是Gemini2.5Pro(10.23%)和ElevenLabs(17.85%)。

MLC-SLM挑战赛Task1第一名

第二届多语种对话语音语言模型挑战赛(MLC-SLM)是一项公开比赛,与INTERSPEECH2026同期举办,由西北工业大学、南京大学、南洋理工大学、台湾大学、上海交通大学等高校的学者以及ELRA、Nexdata、华为等机构联合组织。据组织方总结,各任务共有91支队伍参赛。

Task1的任务是多语种对话语音说话人分离与识别,覆盖英语、法语、德语、日语、韩语、泰语、越南语、乌尔都语等14种语言。榜单按tcpMER排名,这项错误率指标在时间约束下同时考核转写内容和说话人归属,数值越低越好。据赛事官网榜单,Task1共有9支队伍上榜,MOSS-Transcribe-Diarize0.9B以14.93的tcpMER排名第一:

Rank

Username

tcpMER

1

MOSSTranscribeDiarize

14.93

2

trasr

15.41

3

CakeByVPBank

15.84

4

HINTT

16.27

5

roysun2006

16.73

6

SQZ

17.97

7

xdynamics

18.44

8

SMIIPLab

19.97

9

fangshuming

50.23

表注:tcpMER越低越好。数据来自MLC-SLM挑战赛官网公布的Task1成绩表。第一名MOSSTranscribeDiarize即MOSS-Transcribe-Diarize0.9B。

五、开源0.9B与旗舰版Pro的区别

两个版本同属MOSS-Transcribe-Diarize系列,都能一次输出带说话人编号和时间戳的文字稿,区别主要在准确率和使用方式上。

旗舰版MOSS-Transcribe-DiarizePro基于更大规模的模型能力,在说话人区分、上下文理解、转写一致性和多语言能力上都有增强。在官方评测的四个测试集上,Pro的cpCER全部好于0.9B:

测试集

MOSS-Transcribe-Diarize0.9B

MOSS-Transcribe-DiarizePro

AISHELL-4

15.83

14.02

Alimeeting

22.17

13.94

Podcast

7.37

6.97

Movies

12.76

11.78

表注:表中数值为cpCER(%),越低越好。数据来自MOSS-Transcribe-Diarize官方评测。

四个测试集中,Alimeeting会议集上的差距最大:Pro的cpCER为13.94%,领先0.9B(22.17%)8.23个百分点。在AISHELL-4、Podcast和Movies上,Pro分别领先1.81、0.40和0.98个百分点。

使用方式上,0.9B开放权重,可以部署在自己的服务器上,录音数据不出内网,也可以用自有数据微调后集成到产品中。体量较小,也让它在显存占用、推理速度和部署成本上更有优势。Pro则不开源,通过MOSSAPI以在线服务的形式提供,用户无需自备算力。

Pro的能力也已用在模思智能自家的产品上。语音输入产品MosMos基于MOSS-Transcribe-DiarizePro,可以免费使用。在会议场景中,它能区分每位发言人,生成完整的文字稿,并整理出会议要点和待办事项;日常输入时,在任意文本框里说话就能转成文字,还可以按需润色。

六、获取、部署与开发者生态

MOSS-Transcribe-Diarize0.9B的权重发布在HuggingFace的OpenMOSS-Team/MOSS-Transcribe-Diarize仓库,ModelScope和AtomGit上也有同名仓库;推理代码、字幕工具和微调脚本放在GitHub的OpenMOSS/MOSS-Transcribe-Diarize。只想先看看效果,可以在官方在线Demo上传音频或视频,单次最长30分钟。

本地运行时,官方测试环境为Python3.12和Transformers5.x。模型可以直接读取原始音频,视频文件抽出音轨后同样能转写。在一张NVIDIARTX4090上单路运行,官方测得的生成速度最高约100token/s,实时率(RTF,处理耗时与音频时长之比)约0.017,5到10分钟的音频30秒以内就能转完。处理长音频时,记得把生成长度上限(max_new_tokens)调大。

对会议纪要来说,产品型号、客户名称等专有名词一旦写错,影响往往比普通词更大。这时可以用热词增强,在默认的中文提示词末尾加上“热词提示:”,再列出公司名称、项目代号、人名、行业术语等词语,例如:

PlainText

请将音频转写为文本,每一段需以起始时间戳和说话人编号([S01]、[S02]、[S03]…)开头,正文为对应的语音内容,并在段末标注结束时间戳,以清晰标明该段语音范围。热词提示:产品名A,客户名B,项目代号C

热词覆盖不了的业务术语,可以用仓库自带的微调脚本,基于自有数据训练专属版本。做字幕也有现成工具:仓库里的字幕Web应用支持上传音视频、逐段审阅,并导出JSON、SRT、ASS格式字幕,本机装有FFmpeg时还能直接生成带字幕的MP4。

需要部署成服务时,官方推荐SGLangOmni,它提供兼容OpenAI的音频转写接口,可以直接返回按说话人分好的段落;服务器是CUDA12环境时,也可以改用vLLM。生态方面,SGLang在开源当天就宣布支持,FunASR、视频剪辑工具FunClip和面向苹果芯片的MLX-audio也陆续接入,使用者可以按自己的技术栈选择部署方式。

七、MOSS-Transcribe-Diarize总评与推荐

MOSS-Transcribe-Diarize的核心价值,在于把“谁在什么时候说话”的判断和文字转写放进同一次生成中完成。以开源的0.9B为例,约90分钟以内的会议可以整段输入,无需切片拼接,说话人编号在整段录音中保持一致,人工校对可以集中在内容本身。

对需要自行部署和二次开发的使用者来说,MOSS-Transcribe-Diarize0.9B值得优先考虑。它在官方评测中的成绩好于多款闭源商用系统,还获得了MLC-SLM挑战赛Task1第一名。权重可以私有化部署,并附带字幕工具和微调脚本,适合作为会议纪要、访谈整理、客服质检和字幕生成等应用的底座。

旗舰版MOSS-Transcribe-DiarizePro更适合对准确率要求更高、希望通过API把转写能力集成到业务系统中的团队。它在官方评测中的整体表现好于0.9B,通过MOSSAPI即可接入。

只想用会议转写和说话人区分功能、不打算部署模型也不想编写代码调用API的用户,可以直接使用MosMos。它基于MOSS-Transcribe-DiarizePro,安装客户端后就能把会议录音整理成带说话人的纪要。

关于MOSS-Transcribe-Diarize的常见问题

MOSS-Transcribe-Diarize和普通语音识别模型有什么不同?

普通语音识别模型主要把语音转成文字,说话人区分和时间对齐通常需要另接模块。MOSS-Transcribe-Diarize在同一次生成中同时输出文字、说话人编号和每段话的起止时间,更适合处理多人对话录音。

MOSS-Transcribe-DiarizePro和开源的0.9B是什么关系?

两者同属MOSS-Transcribe-Diarize系列。MOSS-Transcribe-Diarize0.9B公开代码和权重,可以本地部署和微调,在官方评测中的成绩好于豆包、ElevenLabs、Gemini等商用系统。MOSS-Transcribe-DiarizePro是能力更强的旗舰版,在四个测试集上的成绩都好于0.9B。它不开源,通过MOSSAPI以在线服务的形式提供。

MOSS-Transcribe-Diarize能转写哪些语言的录音?

按官方说明,开源的MOSS-Transcribe-Diarize0.9B支持50多种语言。公开评测覆盖会议、多嘉宾播客和影视片段,其中影视片段包含中文、英语、韩语、日语和粤语。它还在覆盖14种语言的MLC-SLM挑战赛Task1中获得第一名。

在哪里可以试用MOSS-Transcribe-Diarize?

可以直接使用官方在线Demo,上传音频或视频即可看到带说话人和时间戳的转写结果。如果想在本地运行,可以从HuggingFace或ModelScope下载权重,按GitHub仓库的说明安装。