浸大夥北師港浸大 研AI手語翻譯程式 望今年推出

更新時間:22:16 2026-05-12 HKT
發佈時間:22:15 2026-05-12 HKT

聽障與健聽人士長期存在溝通障礙。浸會大學與北師香港浸會大學(北師港浸大)合作,運用人工智能(AI)技術,識別面部特徵與嘴部動作,設計手語與口語雙向翻譯的應用程式。團隊期望今年內可以將項目落地,推出免費應用程式,讓廣大聽障人士受惠。

研討會吸引 150名浸大及北師港浸大的科研人才、政府代表、業界專家到場。佘丹薇攝
研討會吸引 150名浸大及北師港浸大的科研人才、政府代表、業界專家到場。佘丹薇攝


本港註冊的專業手語翻譯員僅約50人,雖然坊間亦有針對手語的翻譯工具,但項目首席研究員李鈺鵬指,社會上的聽障人士群體龐大,坊間工具未能滿足他們的需求,令聽障人士在就醫或社交等生活上都面臨諸多不便。團隊逐開發「實時安全的手語識別與生成關鍵技術與示範應用」項目,針對聽障人士需要,以手語識別與生成作為目標,望求做到將手語的視像及圖像,轉為口語與文字,同時透過AI技術,把說話的語音轉為手語,達到為聽障與健聽人士進行雙向翻譯。

延伸閱讀:浸大70周年校慶呈獻科技藝術盛宴-共譜重構現場音樂 

然而,手語並非國際通用,全球地區都有不同的手語表達,比如香港與內地的手語不能互通,而德文中的「Brother(兄弟)」與「Sister(姐妹)」需要依賴面部表情表達,這些地域差異及細節,都為翻譯溝通帶來不少的挑戰。團隊依靠AI技術,重點識別面部表情、嘴形等動作,以解決類似「chair」與「Seat」因嘴形相似,導致翻譯錯誤的情況,團隊亦利用「直接偏好優化」(DPO)大模型技術,通過「正樣本」及「負樣本」訓練AI,以精確捕捉手語中的各種細微差異。

這個手語與口語雙向翻譯項目,是浸大首批「1+1+1」聯合資助項目之一,全部項目的資助總額達3000萬元。研究階段已歷一年,團隊透露,正進行精度優化及模型優化,預計今年可推出免費應用程式,讓聽障人士及健聽人士無阻礙交流。

延伸閱讀:浸大生千架無人機投射病童夢想畫作 實踐「以科技傳遞溫暖」

北師港浸大副校長(研究與拓展)潘建新指,第二批21個擬立項項目已完成遴選,第三批項目申報即將啟動。佘丹薇攝
北師港浸大副校長(研究與拓展)潘建新指,第二批21個擬立項項目已完成遴選,第三批項目申報即將啟動。佘丹薇攝

浸大昨舉辦「粵港高校『1+1+1』聯合資助計劃研討會」,會上展示浸大與北師港浸大的首批資助項目。除了協助聽障人士的項目外,現場還涵蓋文化保育、智慧醫療及數據科學等領域的介紹。北師港浸大副校長(研究與拓展)潘建新指,第二批21個擬立項項目已完成遴選,第三批項目申報即將啟動,校方期望透過香港與珠海校園的深度協同,實現資源互補與人才跨境流動,提升兩校在新興學科領域的創新能力

記者佘丹薇

誠邀大家做問卷調查,話俾我哋知你對《星島教育》有咩意見!連結:>>按此<<