sponsored links

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

曉查 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

Facebook AI(bushi),更準確地說是Meta AI,剛剛釋出了自監督語音處理模型XLS-R,共支援128種語言

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

這項技術與Meta公司最新“元宇宙”願景緊密相關。

相互交談是人們互動的一種自然方式,隨著語音技術的發展,未來的虛擬世界可以使用我們技術進行互動,虛擬體驗將與物理世界融為一體。

說人話,就是讓母語不同的人在元宇宙里社交:一位說著英語,一位說著漢語,兩人可以靠XLS-R在元宇宙中無障礙對話。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

實際效果如何呢?

MetaAI在HuggingFace上釋出了試用版語音直譯模型,支援從22種語言轉換到16種語言,我們先來試試它的英譯中效果。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

(雖然翻譯腔較濃,但仍算準確,7秒鐘的句子完成翻譯僅1.53秒)

我們知道,世界上的語言有上千種,要用AI實現這些語言的互通並非易事。

一般語料庫的豐富程度決定了語言翻譯模型的質量,語音翻譯一般集中於幾個資源多大語種之間。但是由於小語種往往語料匱乏,使用這類母語的人往往很難獲得較高的AI翻譯質量。

XLS-R透過自監督技術對10倍的語音資料進行訓練,大大改善了以前的多語言模型,尤其是小語種的處理。

XLS-R的原理

XLS-R基於Facebook去年釋出的wav2vec 2.0技術。

wav2vec 2.0與BERT類似,是透過預測音訊mask部分的語音單元來訓練的。它們的區別是,語音音訊是一種連續的訊號,不能輕易清晰地分割成單詞或其他單位。

wav2vec 2.0透過學習25毫秒長的基本單元來解決這個問題,以便能夠學習高階上下文表示。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

在僅擁有一小時的標記訓練資料的情況下,wav2vec 2.0能通過後續無監督的訓練資料,在LibreSpeech測試基準的100小時子集上達到SOTA水平。

之後,Facebook又推出了完全無監督的高效能語音識別模型wav2vec-U,它純粹從錄製的語音音訊和未配對的文字中學習。

為了wav2vec-U讓學習識別音訊錄音中的單詞,Facebook訓練了一個GAN。生成器根據嵌入在自監督表示中的每個音訊段,預測與語言中的聲音對應的音素。

而鑑別器負責評估預測的音素序列是否真實。最初,轉錄非常糟糕,但隨著時間的推移,隨著鑑別器的反饋,轉錄變得準確。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

透過這種方式,它學會了區分生成器的語音識別輸出和真實文字。

Facebook在此基礎上推出了包含53種語言的XLSR。

而最新發布的XLS-R有128種語言之多,語種數量是XLSR的兩倍多,資料量更是後者10倍——共計長達43.6萬小時的語音。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

XLS-R共有20億引數,它在測試的37種語言中,表現優於大多數語種先前的工作。甚至在寮國語等小語種識別上,也能低於之前的錯誤率。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

此外XLS-R也讓低資源語言與英語之間的翻譯大幅改進,例如從印度尼西亞語到英語的翻譯,其中BLEU(雙語互譯質量評估)的準確性平均翻了一番。

CoVoST-2語音翻譯基準測試中,XLS-R在21個英語翻譯方向上比之前技術平均提高了7.4 BLEU。

從下圖中可以看出,XLS-R對低資源語種的提升尤為明顯。

Meta釋出支援128種語言的新語音模型:指向元宇宙跨語種交流

微調XLS-R

XLS-R只是一個預訓練模型,為了能更好地服務於具體任務,還需要對模型進行微調。

Hugging Face官方提供了詳細的微調教程。

此外官方還提供不同引數規模的語音識別模型,以及15種語言與英語之間的互譯模型,供使用者下載。

傳送門

官方部落格:
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/

GitHub頁:
https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr

論文地址:
https://arxiv.org/abs/2111.09296v1

試用網頁地址:
https://huggingface.co/spaces/facebook/XLS-R-2B-22-16

微調方法簡介:
https://huggingface.co/blog/fine-tune-xlsr-wav2vec2

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們,第一時間獲知前沿科技動態

分類: 數碼
時間: 2021-11-21

相關文章

2021年口碑好的蒸烤一體機有哪些?五款熱門品牌推薦與選購攻略

2021年口碑好的蒸烤一體機有哪些?五款熱門品牌推薦與選購攻略
前言 入坑蒸烤一體機已經有3年的多的時間了,可以算說比較資深體驗者,從2017年蒸烤一體機的快速崛起,然後2018-2021蒸烤一體機可以說進入一個全新的時代,每年都以成倍速度增長,哪怕疫情期間,它依 ...

求大神幫我解決下這一年級的問題

求大神幫我解決下這一年級的問題
今天女兒拿出她一年級語文試卷問我這道題怎麼做,我完全懵了,這什麼意思?有沒有懂得朋友啊?幫我解決下 一年級題目你會嗎? 一年級的題目你會嗎?

絕了!下賽季魔術首發五人的年薪才3000多萬,還不如沃爾一人啊

絕了!下賽季魔術首發五人的年薪才3000多萬,還不如沃爾一人啊
話說,魔術這個隊啊,可真是"魔術"!只要穿上1號的球衣,這個球員註定被傷病侵襲,前有便士哈達威,後有特雷西麥克格雷迪,再後來又有喬納森艾薩克!魔術近10年,自從霍華德走後,一直沒有 ...

10個動作天天練,幫你省下一大筆醫藥費
[10個動作天天練,幫你省下一大筆醫藥費]

恭喜你,在裝修前看到了這篇開關插座大比拼,五款一線品牌哪家強

恭喜你,在裝修前看到了這篇開關插座大比拼,五款一線品牌哪家強
要跟大家說抱歉,這幾年幾乎每年的618和雙十一我都會寫一篇關於開關插座的新品對比,今年已經過了618了才寫出來,耽誤大家的618購買了,不過也不算太晚,不是還有雙十一的嘛,收下這篇開關插座的對比評測, ...

幀數高溫度低 玩遊戲“牆裂”推薦這五款熱門遊戲本

幀數高溫度低 玩遊戲“牆裂”推薦這五款熱門遊戲本
英特爾11代酷睿標壓處理器釋出近半年時間,熱門產品價格逐步走穩,時下,正是不錯的上車時機. 對於遊戲玩家來說,更高的幀數和更低的核心溫度是選擇遊戲本的兩大核心訴求,而英特爾11代酷睿處理器高主頻.高睿 ...

這五款國產大排量摩托車值得一看,既有大單缸ADV還有四缸太子車

這五款國產大排量摩托車值得一看,既有大單缸ADV還有四缸太子車
文接上回,我們繼續聊國內的大排量摩托車,以下的五款車型特點將會更加明顯,受眾人群相對也會更廣,並且有些機型還會很容易衍生出同平臺車型. 第一款 無極650DS 目前售價43800起 這款車可能已經被一 ...

電動牙刷哪個牌子好,新手閉眼也能選對的五款高質量電動牙刷品牌

電動牙刷哪個牌子好,新手閉眼也能選對的五款高質量電動牙刷品牌
電動牙刷近幾年非常火爆,幾乎年輕人人手一支.關於電動牙刷的選擇有哪些技巧?電動牙刷哪個牌子好?如何選擇一支好的電動牙刷成為很多萌新迫切想知道的答案.電動牙刷避坑主要有以下三點: 一.幾十元的電動牙刷不 ...

買手機的朋友不妨再等等,這五款給力新機即將於9月下旬釋出

買手機的朋友不妨再等等,這五款給力新機即將於9月下旬釋出
本月可謂是妥妥的新機發布大月,各大廠商新機是一款接著一款亮相,一時間許多小夥伴也是有了購機需求,不過今天筆者想說的是,近日有購機需求的朋友不妨再等等,而談起其中的原因也很簡單,那就是9月接下來的一段時 ...

全球真無線耳機銷量最新榜:華為無緣前五,蘋果暴跌超四分之一

全球真無線耳機銷量最新榜:華為無緣前五,蘋果暴跌超四分之一
你會給別人推薦無線耳機嗎?侃哥一般不會,原因是每個人的使用習慣.耳廓構造.使用需求等方面都存在差異,很難說哪款最合適.哪款不合適.但是,如果你非要我推薦,我肯定推薦蘋果旗下的AirPods系列無線耳機 ...

五款經典的高性價比腕錶線上安利

五款經典的高性價比腕錶線上安利
你想擁有一塊新的手錶,但是又不想傾家蕩產嗎?一直以來大家對大牌手錶都有一個常見的誤解,覺得往往都需要花費至少數千美元,然而事實是很多著名的手錶品牌,在每種預算下都有大量的選擇,但是想必大家還是容易&q ...

9000元頂級選擇:蘋果iPhone 13PM對比三星S21U,科技實力的巔峰PK

9000元頂級選擇:蘋果iPhone 13PM對比三星S21U,科技實力的巔峰PK
筆歌科技獨家報道:蘋果iPhone 13PM和三星S21 U都為兩家頂尖科技公司的旗艦產品,售價都超過9千元的等價,本篇我們來對比一下這兩款手機的引數配置,給大家一些購機上的參考,一起來圍觀. 01蘋 ...

國慶節最值得推薦入手的五款筆記本:顏值高,效能強,還都是新品

國慶節最值得推薦入手的五款筆記本:顏值高,效能強,還都是新品
又是一年國慶長假來臨,打算在休假期間購買膝上型電腦的朋友你挑選好了嗎?今天特為大家推薦五款最值得入手的筆記本.它們有的是高顏值新品,有的是今年上市後就一直供不應求,超高人氣的高效能筆記本. 聯想拯救者 ...

這五款日系緊湊型SUV,不比不知道一比嚇一跳,原來個個都是精品

這五款日系緊湊型SUV,不比不知道一比嚇一跳,原來個個都是精品
[太平洋汽車網 評測頻道]要說哪個級別SUV是市場最受歡迎的寵兒,我想緊湊型SUV一直當仁不讓.而且國人對緊湊型SUV的喜愛由來已久,因為無論尺寸還是實用性,他們幾乎滿足絕大多數家庭對於車的所有基本需 ...

圍觀!五款最強的17.3寸遊戲本:輕薄炫酷,效能強悍,為遊戲而生

圍觀!五款最強的17.3寸遊戲本:輕薄炫酷,效能強悍,為遊戲而生
對於遊戲本的螢幕尺寸來說,目前還是以15.6英寸和16英寸為主流,像17.3英寸這樣的大螢幕遊戲本,還不是很多.今天特為大家推薦五款17.3英寸的輕薄炫酷,效能強悍的遊戲本. 第一款:ROG魔霸5R ...

接下來至少有五款新機要來,配置基本拉滿

接下來至少有五款新機要來,配置基本拉滿
還有三個月的時間就要進入到2022年了,在剩餘的時間裡面,應該是手機廠商瘋狂發力的關鍵時刻,無論是低價機型還是機海戰術,都會來襲,因為只有這樣才能夠讓消費者產生選擇的慾望,才能夠刺激使用者進行選擇,所 ...

五款最佳的RTX3050筆記本:有遊戲本也有輕薄本,最低售價不足6千

五款最佳的RTX3050筆記本:有遊戲本也有輕薄本,最低售價不足6千
2021年新上市的膝上型電腦,無論是輕薄本還是遊戲本,好像都喜歡搭配RTX30系列的獨立顯示卡.尤為突出的是入門級的光追獨顯RTX3050也被搭配在了一些輕薄本上.今天特為大家推薦五款搭配RTX305 ...

資訊|亮相五款全新車型 本田中國發布“e:N”全新純電動車品牌

資訊|亮相五款全新車型 本田中國發布“e:N”全新純電動車品牌
文:懂車帝原創 許博 [懂車帝原創 產品] 10月13日,本田技研工業(中國)投資有限公司(以下簡稱:本田中國)與廣汽本田汽車有限公司(以下簡稱:廣汽本田).東風本田汽車有限公司(以下簡稱:東風本田) ...

兩種動力三種座椅佈局 吉利嘉際五款車型怎麼選?

兩種動力三種座椅佈局 吉利嘉際五款車型怎麼選?
日前,吉利嘉際白金款車型的部分配置曝光,不但全系標配了12.3英寸中控屏,而且在舒適性層面上,其座椅還具備加熱.通風.記憶與腰部電動調節等功能,GKUI系統也增加了全民K歌等娛樂功能,並且在動力上採用 ...

比較適合新手閒暇小遊的五款“小拉力”車體不大,價格不高

比較適合新手閒暇小遊的五款“小拉力”車體不大,價格不高
比較適合新手閒暇小遊的五款"小拉力"車體不大,價格不高 很多車友選擇摩托車是出於好奇,而有些車友的選擇則要經過深思熟慮,必須要透過層層選拔,找到一款最適合自己的車.但其實我們也可以 ...