
最後在澳洲雪梨舉行的微軟創新盃全球總決賽中贏得軟體設計類冠軍,並捧走閃亮銀盃的項目,其起源卻十分簡單。一群來自烏克蘭的學生注意到,他們學校裡有幾位運動員聽力有障礙,於是他們想幫助這些運動員更好地溝通。這份願望最終催生了一副手套,這副手套內建了大量感測器,能夠識別手語手勢,並以90%的準確率將其轉換為文字和語音。而這僅僅是原型而已。
由 Team Quadsquad 開發的 Enable Talk 系統,每隻手套都配備 11 個彎曲感測器——每個手指兩個,手掌一個——以及兩個加速度計、一個陀螺儀、一個指南針和一個藍牙模組。藍牙模組會將使用者手語時手套收集的所有資料傳輸到行動裝置。 「我們把原型機給了(我們學校的運動員們)。」團隊成員 Maxim Osika 說,「一開始,我們覺得只要能識別手指就夠了,但他們說想要更豐富的手勢。」於是,團隊添加了各種附加功能,使手套不僅能識別手指彎曲形成的字母,還能識別由更寬的手部動作組成的單字和句子。
在 Quadsquad 團隊向 Imagine Cup 評委進行最終展示時,一名戴著手套的成員用手語比劃出“很高興見到你”,一部使用 Microsoft Speech API 的手機迅速將其大聲重複出來。觀眾席上響起一片驚嘆聲。 Enable Talk 系統由使用者自主學習,因此可以根據不同國家的手語以及個人的手語表達習慣進行客製化。在 Imagine Cup 比賽中,Quadsquad 團隊使用系統化的神經網路將美國手語翻譯成英語,但使用者可以教導系統任何他們想要的手勢,並將其與 Microsoft Speech API 支援的任何語言對應起來。因此,理論上,你甚至可以創造自己的手語。顯然,要教會系統你想說的每一個字都太花時間了,所以團隊最終希望提供一個包含不同手語標準手勢的下載包,供用戶入門。手套的電池續航時間為八小時,但可透過背面的太陽能板充電來延長續航時間。
這些感測器捕捉到的細節程度著實令人印象深刻。在演示過程中,螢幕上會顯示滿滿的圖表(如上圖所示),向評審和觀眾展示每個感測器在佩戴手套的隊員揮動、轉動和彎曲手指時的讀數。如果他只彎曲小指,那麼只有小指感測器會顯示讀數,其他感測器則保持靜止。在整個展示過程中,系統始終運作穩定,甚至能說出「我們喜歡創新杯」和「我們想看到袋鼠」之類的話。儘管如此,Quadsquad 團隊並不滿足於 90% 的準確率。 「我們的目標是 99.9%,」奧西卡說。而贏得創新杯或許正是他們實現這目標的動力。