豐色 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
許多人日常在用的智慧手錶，它的文字輸入要麼靠語音，要麼靠打字或手寫。
但有時你可能不方便說話，或者在那麼小的螢幕上戳鍵盤實在有點“侷促”。
那咋辦？
也許可以試試“隔空打字”法。
浙江大學就開發了這樣一個名叫AirText的應用，只需你動動手指和手腕，手錶就確識別空中字元，錯誤率低至3.9%。
還配備聯想和推薦功能，讓拼寫速度更快。
給智慧手錶配上“隔空打字”功能
開發AirText的一個主要挑戰在於如何讓它理解手腕運動和指尖拼寫動作的對應關係。
就像下面這張圖所展示的，拼寫時手腕呈現出來的軌跡和正常字母差得還挺多的。
為此，研究團隊先借助了一個現成工具Leap Motion，它可以用紅外感測器跟蹤手勢。
然後八名志願者使用五種不同的智慧手錶拼出超過25000個字元，用Leap Motion收集相關的手腕和手指運動資料。
再將資料輸入神經網路模型，進行訓練，最終AirText可以根據使用者手腕微小的動作變化推斷指尖的軌跡。
然後，僅透過智慧手錶就可以高效、準確地將推斷出的軌跡識別為相應的字元。
為了加快拼寫速度，他們還給系統配上了單詞預測和推薦功能。
預測單詞會顯示在手錶螢幕的四個方向，我們可以將手錶向上下左右傾斜就能進行選擇（晃動手錶可以退格）。
詞錯誤率為3.9%
首先來看AirText的準確性測試。
衡量指標為WER（詞錯誤率，Word Error Rate），計算方法就是將錯誤字/識別正確的字。
其中錯誤字涉及三種類型：漏字（用I表示，即校對成正確的拼寫時需要再插入的字的數量）、多字（用D表示，即需要刪除的字數量）、錯字（用S表示，即需要替換的字數量）。
將AirText與倆基線方法（IMU-CNN和BLSTM）相比，最終AirText得分最低，也就是準確性最高。
三者平均分分別為3.9%、30.9%和57.1%。
以上是單使用者在單裝置上的測評結果。
為了更準確，他們還測試了多使用者和多裝置，結果如下：
左圖中，同一個使用者使用5種不同智慧手錶測試AirText獲得的準確率得分分別為：8.3%、7.5%、6.5%、7.7%和3.9%。
研究人員表示，7%的WER意味著平均每15個單詞中有一個識別錯誤，這對於隔空手寫來說還是可以接受的。
右圖中，8位不同使用者使用同一手錶獲得了11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7%和3.9%的WER。
從中我們可以看出，與不同的裝置相比，不同的使用者對準確性的影響更大。
不過研究人員表示，藉助模型更新元件，AirTex 仍然可以針對不同使用者實現較高的準確率。
然後是速度測試。
由於BLSTM基線的WER約為57%，錯誤率太高，研究人員只比較了AirText和IMU-CNN兩者的速度。
衡量指標是WPM（單詞/每分鐘，Word Per Minute），其計算方式為用總體輸入字數-錯誤字數/時間。
結果AirText的平均WPM為8.1，而IMU-CNN基線的WPM僅為4.6。
研究人員指出，此輸入速度與一些基於雙手觸控式螢幕的文字輸入方法相當（這些方法在實際應用中的WPM為9.1、9.8WPM）。
總體來看，AirText的準確率不錯，但速度還需要進步。
慢的主要原因還是因為它每拼寫一個字元就需停頓一會兒。
研究人員正在研究破解辦法，並表示最終有興趣將AirText商業化。
作者介紹
一作為浙江大學計算機學院助理教授高藝，浙江大學博士畢業，研究方向包括嵌入式軟體、無線和移動計算、感測器網路和資訊物理系統。
通訊作者為浙大計算機學院副教授、博導董瑋，同樣為浙大博士畢業，研究方向包括物聯網系統和網路、邊緣計算、無線和移動計算。
其谷歌學術引用次數總計3000+。
論文地址：
https://ieeexplore.ieee.org/document/9625777
參考連結：
https://spectrum.ieee.org/smartwatch-input-finger-writing
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
