對於聾人來說，乘坐火車旅行可能是一場賭博。平常的日子裡，不會有什麼問題：他們搭火車到達目的地，然後繼續他們的生意。

但當發生不尋常的事情時，情況很快就會變得可怕，因為大多數更新僅透過音訊公告傳遞。聾人旅客可能會錯過他們的火車，因為火車被移到了不同​​的月台，或者看著他們的車站呼嘯而過，因為火車今天沒有停在那裡。在緊急情況下，當其他人都撤離後，他們也可能留在火車車廂內，必須由車站工作人員救援。

這些例子中的每一個已被繪製來自悉尼聾人的真實生活經驗。但我和我的同事正在與雪梨火車公司和澳洲聾人社群成員合作開發一種先進的、人工智慧(AI) 支持的簽名頭像它可以自動將音訊公告翻譯成澳洲語。

我們在阿凡達上的工作也朝著下一步發展：開發可以「理解」Auslan 的人工智慧系統。

旅程並不總是按計劃進行

今年早些時候，我和我的同事跑步試驗研究與雪梨的三名聾人火車旅客。除了他們分享的關於火車旅行期間可能出現問題的故事之外，我們還了解到他們使用經過考驗的策略來使旅程順利進行。

他們的策略對於普通通勤者來說可能很熟悉。例如，他們會使用應用程式規劃行程，提前到達並尋找標牌，讓他們知道是否有任何變化。

但他們也表示，他們覺得需要站在資訊螢幕附近觀看更新，並在情況發生變化時向車站工作人員或其他乘客詢問資訊。他們還報告說，在火車上時保持高度警惕，確保自己不會錯過車站。

但這些策略並不總是確保聾啞旅行者收到重要訊息，包括有關緊急情況的資訊。例如，雖然車站工作人員通常很樂於助人，但有時卻太忙而無法提供協助。

最令人沮喪的是其他乘客不願意或無法提供信息，讓我們的聾啞旅客只能「隨波逐流」。這通常意味著最終會來到錯誤的地方。

開發簽名頭像

語音轉文字軟體似乎可以輕鬆解決其中一些問題。但對許多聾人來說，英語不是他們的母語和 Auslan 的處理更加容易和快速。

我們的聾人旅行者告訴我們，在完美的世界中，他們需要現場翻譯。然而，自動、人工智慧驅動的翻譯使用平台或火車螢幕上顯示的手語頭像，可以識別音訊公告中的關鍵字，產生具有正確澳洲語語法的句子，並將我們詞彙庫中的相應手語拼湊在一起，這對我們來說很有吸引力。

首先，它允許即時翻譯使用已知詞彙的公告，這與火車和車站的環境相關，其中許多公告都涵蓋類似的主題。

其次，可以根據給定情況的需要自訂化身及其簽名，例如使用有關螢幕位置的資訊來確保化身在指出出口或其他平台時指向正確的方向。

第三，多個手語者可以為化身的詞彙貢獻手語，然後可以將這些詞彙順利地拼接在一起以組成句子。

重要的是，化身意味著無需真人成為組織自動生成的公告的「面孔」。這一點尤其重要，因為澳洲聾人社群規模小且聯繫緊密，如果翻譯出現問題，沒有人會遭受任何聲譽損害。

從技術角度來看，頭像還可以讓我們保證簽名的最低品質門檻。我們使用動作捕捉來確保詞彙庫中的每個標誌都是準確的，並且動作清晰。

它還可以幫助我們避免「恐怖谷」——一種類似人類但微妙錯誤的東西令人不安的效應。我們不想要任何你最近看到的由人工智慧產生的多指怪物。

適合所有人的人工智慧

這項工作是我們創建一個能夠理解 Auslan 的人工智慧系統這一更廣泛目標的一步。這種人工智慧可用於幫助聾啞人和聽力正常的車站工作人員進行交談，或創建「聊天機器人亭」或基於應用程式的助手，讓聾啞人士可以根據需要用Auslan 獲取有關他們的火車旅行或其他日常任務的資訊。

世界各地的手語和聾人文化之間存在細微差別和複雜性，對於人工智慧的聽力研究人員和開發人員來說可能不知道。這些細微差別和複雜性必須嵌入新技術中，研究人員和開發人員必須採用語言優先的方法來收集和設計人工智慧數據和– 不只是針對 – 聾啞人士。

只有這樣，人工智慧才能滿足聾人的真正需求：確保他們在日常生活的各個方面的安全和獨立。

本文轉載自對話根據知識共享許可。閱讀原創文章。