Meta首席科学家陈根推出MMS强大AI大模型

OKX欧易app

OKX欧易app

欧易交易所app是全球排名第一的虚拟货币交易所,注册领取6万元盲盒礼包!

APP下载   官网注册

你懂几国语言?

据相关资料显示,世界上一共有7000多种语言。但是,我们懂的可能就只有几种或者几十种。

而目前的计算机语音识别技术所能覆盖的则有100多种。这对于很多人来说,已经是天文级的数字了。

但Meta新开源的语言模型却有着更大的突破。

自从和OpenAI、Google分道扬镳之后,Meta便在开源大模型方向上越走越深。

日前,Meta在GitHub上新开源的资深小编——Massively Multilingual Speech (MMS,大规模多语种语音) 可以识别4000多种口头语言,是目前已知技术的40倍之多;还扩展了文本与语音之间的转化技术的涵盖范围,从大约100种语言到1100多种。

不仅如此,Meta开源的MMS最突出的特点是不仅支持ASR,还支持TTS,也就是说不仅可以语音转文字,还可以文字转语音。

Meta的官网blog上特别提到的Tatuyo语,一种只有几百人在使用的小语种。虽然对于日常来说没什么用,但是对于研究来说却是一个很好的助手。

那么,对于这种只有几百人使用的小语种,如何才能找到并有效的提炼数据集呢? Meta介绍说,他们在数千种语言的音频数据收集过程中,使用了一种非常规的方法——宗教文本录音。

“我们转向已被翻译成许多不同语言的宗教文本(例如《圣经》),并且其翻译已被广泛研究用于基于文本的语言翻译研究。而且,这些译本都有公开录音,记录了人们采用不同语言进行阅读的情景。”

同时,Meta在MMS模型的训练中结合使用了公司的“自监督语音表示学习”模型 wav2vec2.0,使机器能够在不依赖标记训练数据的情况下进行学习;有了它,就可以在更少的数据上训练语音识别模型。

而对于此种方式可能导致的模型偏向性,Meta声称,“虽然这些数据来自特定领域,并且通常由男性阅读;但我们的分析表明,我们的模型在男性和女性声音方面表现同样出色。 虽然录音的内容是宗教的,但我们的分析表明,这并不会使模型偏向于产生更多的宗教语言。”

在使用1B参数的 wav2vec2.0 模型对1100多种语言进行多语言语音识别模型的训练的时候,研发人员发现,随着语言数量的增加,性能会有所下降,但非常轻微:从61种语言到1107种语言,字符错误率只增加约0.4%,但语言覆盖率却增加了17倍以上。”

就此问题,Meta还与OpenAI的 Whisper 做了详细的对比,在数据上训练的模型实现了一半的单词错误率,并且训练数据更少:Meta的训练数据只有45k小时的标注数据,要比 Whisper 少10倍,而语言支持却多了10倍,这是一个大的提高。

不过, Meta 亦表示它的新模型并不完美,“例如,语音转文本模型可能会错误转录选定的单词或短语,这存在一定风险。但是,我们仍然相信,整个 AI 社区的协作对于负责任地开发 AI 技术至关重要。”而目前, Meta 已经开源了相关的模型和代码, 以便研究社区中的其他人可以在此工作基础上进行构建。

对于语音大模型的未来,Meta 并没有完全做好设想,但他们希望可以通过称也做了设想,希望可以通过一个模型解决所有语言的多个语音任务。

“我们为语音识别、语音合成和语言识别训练了不同的模型,但我们有理由相信在未来,一个模型将能够完成所有这些任务以及更多任务,从而带来更好的整体性能”,Meta 说道。

放眼未来,Meta希望扩大 MMS 的覆盖范围以支持更多语言,并改进其对方言的处理。进一步打破世界各地人群之间的语言障碍,让来自全球每个角落的人们都可以通过声音正常交流。

这是一个美好的愿景,但我们相信这一天的迟早是要到来的。

本站所有软件信息均由用户上传发布,版权归原著所有。如有侵权/违规内容,敬请来信告知邮箱:764327034@qq.com,我们将及时撤销! 转载请注明出处:https://czxurui.com/zx/99479.html

打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年11月15日
下一篇 2023年11月15日

相关推荐

发表回复

8206
验证码

评论列表(0条)

    暂无评论

ok交易所
已有100万用户加入ok交易所

立即下载