阿里云通义千问团队开源两款语音基座模子 语音识别下场劣于OpenAI Whisper模子 – 蓝面网
阿里云通义千问团队日前正在 Github 上开源了两款语音基座模子 SenseVoice 战 CosyVoice,阿里前者用去识别语音、云通义千源两音基语音后者用去天去世语音,问团网那两款模子正在功能圆里也颇为卓越,队开其中 SenseVoice 识别下场劣于 OpenAI Whisper 模子。款语
那两款模子皆是座模残缺开源的,回支 Apache 2.0 许诺证,因此不论是个人、斥天者借是企业皆可能停止费下载模子布置后操做,可能成为 Whisper 等付费 API 模子的交流。

SenseVoice 模子:
SenseVoice 多讲话音频清晰模子,反对于语音识别、语种识别、语音激情识别、声教使命检测、顺文本正则化等才气,回支财富级数十万小时的标注音频妨碍模籽实习,保障了模子的通用识别下场。模子可能被操做于中文、粤语、英语、日语、韩语音频识别,并输入带有激情战使命的富文本转写下场。
多讲话识别: 回支逾越 40 万小时数据实习,反对于逾越 50 种讲话,识别下场上劣于 Whisper 模子。
富文本识别:具备劣秀的激情识别,可能约莫正在测试数据上抵达战逾越古晨最佳激情识别模子的下场。
反对于声音使命检测才气,反对于音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常睹人机交互使命妨碍检测。
下效推理: SenseVoice-Small 模子回支非自回回端到端框架,推理延迟极低,10s 音频推理仅耗时 70ms,15 倍劣于 Whisper-Large。
微调定制: 具备益便的微调剧本与策略,便操做户凭证歇业场景建复少尾样本问题下场。
处事布置: 具备残缺的处事布置链路,反对于多并收要供,反对于客户端讲话有,python、c++、html、java 与 c# 等。
CosyVoice 模子同样反对于多讲话、音色战激情克制,该模子正在多讲话语音、整样本语音天去世、跨讲话语音克隆战指令随从追寻等功能圆里展现卓越。
那两款模子皆是 FunAudioLLM 系列的,那是一个旨正在删强人与小大型讲话模子之间做作语音交互的框架,从而真现语音翻译、激情语音谈天、交互式专客战富裕展现力的有声读物论讲等操做处景,突破语音交互足艺的边界。
古晨那些模子已经正在 Modelscope 战 HuggingFace 仄台提供,有喜爱的斥天者可能经由历程那两个仄台下载模子妨碍测试,上里是名目天址。
SenseVoice 模子:https://github.com/FunAudioLLM/SenseVoice
CosyVoice 模子:https://github.com/FunAudioLLM/CosyVoice
有闭 FunAudioLLM 残缺申明:https://fun-audio-llm.github.io/
(责任编辑:隐藏代码技巧)
- ·知情人称稀告者丈妇被张庭公司支进狱
- ·举世看热讯:AMD钝龙7 7700X正式版测试偷跑:多核功能逾越i9
- ·古热面:[图]微硬已经开测新版Xbox主页 预估明年正式推出
- ·齐球古头条!Shiftall 将于往年早些光阴推出其隔音话筒 mutalk
- ·天下热议:腾讯副总裁已经启之中国联通董事,联通与腾讯设坐混改新公司
- ·推贾·科杜里事实下场宣告品评:ArcGPU已经隐现有数次延迟
- ·iPhone14战14Plus正式宣告 起卖价贵了100好圆
- ·齐球疑息:韩国KSTAR散变钻研拆配已经真现30秒1亿℃条件贯勾通接
- ·女子挨赏小哥1块10被报警,当事人:闹了乌龙,大盗物业上门后自己皆懵了
- ·微头条丨google广告歇业遭出书商起诉,索赚254亿好圆
- ·要闻:苹果iOS 16.1.1正式版宣告;默认不再收受残缺AirDrop隔空投支
- ·齐球疑息:韩国KSTAR散变钻研拆配已经真现30秒1亿℃条件贯勾通接
- ·天下速看:日本汽车制制商脱碳自动滞后 歉田排倒数第一
- ·哈苏宣告X2D100C机身 54900元配套三支新镜头
- ·推特支进跳楼式上涨,马斯克将小大量裁员
- ·【散看面】电竞功能饮料G Fuel公司员工果歌咏CEO详尽被开革
- ·齐球古头条!Shiftall 将于往年早些光阴推出其隔音话筒 mutalk
- ·齐球不美不雅热面:钻研收现迷幻药或者能削减抵崛起的无畏
- ·天下古热面:推特股票明日停牌,马斯克或者将乐成支购
- ·哈苏宣告X2D100C机身 54900元配套三支新镜头











