教學美國手語的人工智慧平台

美國手語（American Sign Language, ASL）是美國第三大常用語言，但與最常見的語言英語（English）和西班牙語（Spanish）相比，專為美國手語開發的人工智慧（AI）工具卻少得多。

NVIDIA、美國聾兒協會（American Society for Deaf Children）和創意機構Hello Monday正在努力縮小這一差距，推出了一個名為Signs的互動網路平台，旨在支持美國手語的學習和可及性AI應用的開發。

學習手語的人可以使用這個平台的經過驗證的美國手語詞彙庫，透過一個3D虛擬角色來學習手勢，並使用一個AI工具分析網路攝影機的影像，獲得即時的手語反饋。任何技能水平的手語使用者都可以透過簽署特定的單詞來幫助建立一個開源的美國手語視頻數據集。

這個數據集——NVIDIA計劃將其擴展到400,000個視頻片段，代表1,000個手語單詞——正在由流利的美國手語使用者和翻譯員進行驗證，以確保每個手勢的準確性，從而形成一個高品質的視覺詞典和教學工具。

“大多數聾兒是聽力正常的父母所生。提供像Signs這樣的可及性工具，讓家庭成員能夠早期學習美國手語，使他們能夠與六到八個月大的孩子建立有效的溝通渠道，”美國聾兒協會執行董事Cheri Dowling說。“而且知道所有詞彙都經過專業美國手語教師的驗證，使用者可以對他們所學的內容充滿信心。”

NVIDIA團隊計劃利用這個數據集進一步開發AI應用，打破聾人和聽人社區之間的溝通障礙。這些數據將作為公共資源，幫助建立可及性技術，包括AI代理、數位人類應用和視頻會議工具。它還可以用來增強Signs，並在整個生態系統中提供即時的AI支持和反饋。

支持美國手語教育，探索語言細微差別

在數據收集階段，Signs已經提供了一個強大的平台，幫助學習美國手語，讓人們有機會學習和練習最初的100個手勢，以便更有效地與使用美國手語的朋友或家人溝通。

“Signs學習平台可以幫助有聾兒的家庭快速查找特定單詞，並查看如何做出相應的手勢。這是一個可以支持他們在正式課程之外日常使用美國手語的工具，”Dowling說。“我看到孩子和父母都在探索這個平台——我認為他們可以一起玩。”

目前，Signs專注於每個手勢的手部動作和手指位置，但美國手語還包括面部表情和頭部動作來傳達意義。Signs的團隊正在探索如何在未來的版本中追蹤和整合這些非手動信號。

他們還在研究如何在Signs中表示其他細微差別，例如地區變化和俚語，以豐富其美國手語數據庫——並與羅徹斯特理工學院（Rochester Institute of Technology）可及性與包容性研究中心的研究人員合作，評估並進一步改善Signs平台對聾人和聽力受損使用者的使用體驗。

“改善美國手語的可及性是一項持續的努力，”Hello Monday/DEPT的創始合夥人Anders Jessen說，他們建立了Signs網路平台，並曾與美國聾兒協會合作開發Fingerspelling.xyz，一個教導使用者美國手語字母的應用。“Signs可以滿足對先進AI工具的需求，幫助打破聾人和聽人社區之間的溝通障礙。”

Signs背後的數據集計劃在今年晚些時候發布。

想要開始學習或貢獻的話，可以訪問signs-ai.com，了解更多NVIDIA的可信AI計劃。參加NVIDIA GTC的與會者，這是一個將於3月17日至21日在聖荷西舉行的全球AI會議，將能夠在活動中現場參與Signs。