你是否遇到過這樣的場景——公交車上、餐廳裡兩個人在用手語快速交流。科技發展日新月異,數字技術不斷創新,應該給包括聽障人士在內的所有人創造美好,不讓任何一個人在數字世界掉隊。我們能為聽障人士做些什麼呢?
為幫助聽障者在日常生活中自如交流,更方便地融入社會生活,有一群來自華中科技大學的青年學子透過大量實際調研並利用專業所學開發出了知音App,可透過語音識別、手語手勢識別等AI技術將語音轉文字,讓聽障者看到或將文字轉語音讓健聽人聽到。團隊還在App中嵌入了專業手語客服影片線上,希望未來能隨時隨地幫助聽障人交流。
團隊聽障者馮桂傑的真實反饋讓知音App不斷最佳化,更貼近聽障人需求
“我們希望透過科技的力量幫助聽障人士解除生活靜音鍵,感受生活煙火、蟲鳴鳥叫和清風細雨。”秉持著這種信念,這群年輕人希望幫助聽障者活得有聲有色。對於這樣一個傾注了團隊熱情和心血的產品,團隊希望能借助更多的外部力量讓更多有需要的人瞭解並使用到知音App。而在產品二次最佳化過程中,知音App非常重要的體驗改進則來自華為HMS Core提供的語音識別與合成等技術支援。如今,知音App已經參加了2021華為HMS全球應用創新大賽,同時也加入了華為耀星計劃,這讓團隊有了更多動力和信心將知音App持續推向市場惠及更多聽障人群。
置身於聽障者日常生活,傾聽來自他們的“聲音”
“社會在飛速發展,聽障人群卻往往在溝通中遇到諸多障礙。很多看似日常的小事,對他們來說都格外奢侈,而他們又是非常渴望交流的。”知音App團隊對聽障人群有著特別的關注,這要源於他們長期在聾人學校做志願服務的經歷,不會手語和聾人兒童溝通非常麻煩。朱佳怡作為團隊一員,則講述了一次去養老院做義工的經歷,“當時遇到一位後天聽障老人,有著意料之外的開朗熱情,每次看到義工們,他就會特別開心地跑過來比手勢,想要交流。後來瞭解到由於聽障,他和家人疏於交流,長期在養老院的生活也讓他日顯孤單。我特別難過,覺得這部分群體不應該被忽略。”很多類似經歷讓團隊越來越清晰地瞭解到聽障人群的社會現狀,並深受觸動。於是,這群定期探訪聽障人群的年輕人一拍即合,希望發揮各自力量開發出一款能真正幫助聽障人群交流的產品。他們分別來自資訊系統專業、產品設計專業、市場營銷專業等,專業不同初衷相同的青年學子為此傾注著滿滿精力和熱情。
“產品的實用性一定要透過目標使用者的不斷體驗加以驗證,好的應用一定是能滿足使用者需求的。而要想開發出好的聽障輔助應用,就要深入到聽障人群當中。”為此,團隊與聽障人群保持著長期溝通,專案創始人周江南更曾跟聽障人群同吃同住過一段時間,有很強的同理心,因此非常熟悉他們的需求,這也是保證產品實用性的關鍵因素。團隊中的馮桂傑是一名聽障者,同時擔任產品體驗官,對知音進行更細緻更真實的反饋,並提出針對性的建議,從而確保產品的精準最佳化。他坦言:在知音不僅學到了很多技術和知識,還感受到了愛和力量。
此外,為促進聽障人交流溝通速度,更方便地享受生活,團隊目前在研發一款AR智慧眼鏡,由話筒、鏡片螢幕、攝像頭、喇叭等元件構成。藉助技術手段,話筒可捕捉健聽人語音,AI手語客服將語音轉化為文字顯示在螢幕上讓聽障人看見,同時攝像頭可獲取聽障人手語,AI演算法將其轉化為語音透過喇叭播放。目前相關功能均在完善中。
授人以魚不如授人以漁,華為HMS讓知音App更懂聽障人
從成員招募、調研、志願服務、設計,熱愛聽障公益事業且具備同理心是知音團隊不變的堅守,也是團隊像知音朋友一樣和聽障人群對話並幫助建立自信的初衷。而數字化時代,公益和科技有著更深層次的相輔相成關係,為開發出更契合聽障者的產品,知音團隊一直在積極尋找更具針對性的先進技術支撐。
“調研過程中,我們第一個想到的便是華為,因為語音識別與合成是產品的核心功能之一,這方面團隊無法自己完成,依託華為HMS Core的語音識別合成技術進行擴充套件是最優解。”知音App團隊介紹道,“整合HMS Core的ML Kit後,我們的產品有了更為具體的最佳化。比如聲音場景識別,可以充當聽障者的耳朵,幫助聽障者識別周圍的場景,而語音識別合成是非常快速的整合,可充當嘴巴發出聲音,從而產品更為理想化。”具體而言,語音識別、語音合成和聲音識別等頁面是知音App的核心功能頁面的一部分。聽障者可在聲音識別頁面按住“開始”按鈕,把說話人的實時語音轉化為文字;可在語音合成頁面輸入文字,點選“開始合成”按鈕把文字轉化為個性化語音播放出來。在產品測試過程中,整合HMS Core的ML Kit的則讓知音App對場景語音識別更精準,語音合成更快速,交流體驗更順暢。
說起整合HMS Core的ML Kit,團隊還分享道,“在這之前,我們對AI技術和機器學習的底層技術不太瞭解。加入華為開發者聯盟後,我們得以瀏覽到很多華為開發者文件,對AI技術有了更深入的瞭解,其中聲音場景的識別幫助我們優化了很多解決方案。”目前,二次最佳化已進入技術收尾階段,不久將在華為應用市場上線。
如果沒有聲音,我們的世界會變成怎樣呢?城市沒有喧囂、森林沒有鳥叫,圍繞我們的或許是一片沉寂。“聽障人群不應陷入沉寂。知音App願意搭建起聽障者資訊交流的橋樑,與他們有更好溝通並建立他們的信心,讓每一位聽障人士得以自由交流、表達感受、分享快樂。我們覺得這是一件特別有意義特別酷的事情。”知音App團隊年輕的聲音裡洋溢著堅定和憧憬。