浸大伙北师港浸大 研AI手语翻译程式

更新时间:22:16 2026-05-12 HKT
发布时间:22:15 2026-05-12 HKT

听障与健听人士长期存在沟通障碍。浸会大学与北师香港浸会大学(北师港浸大)合作,运用人工智能(AI)技术,识别面部特征与嘴部动作,设计手语与口语翻译的应用。团队期望未来可以将项目落地,让广大听障人士受惠。

研讨会吸引150名浸大及北师港浸大的科研人才、政府代表、业界专家到场。佘丹薇摄
研讨会吸引150名浸大及北师港浸大的科研人才、政府代表、业界专家到场。佘丹薇摄


本港注册的专业手语翻译员仅约50人,虽然坊间亦有针对手语的翻译工具,但项目首席研究员李钰鹏和陈东龙指,社会上的听障人士群体庞大,坊间工具未能满足他们的需求,令听障人士在就医或社交等生活上都面临诸多不便。团队逐开发「实时安全的手语识别与生成关键技术与示范应用」项目,针对听障人士需要,以手语识别与生成作为目标,望求做到将手语的视像及图像,转为口语与文字,同时透过AI技术,把说话的语音转为手语,达到为听障与健听人士进行翻译。

延伸阅读:浸大70周年校庆呈献科技艺术盛宴-共谱重构现场音乐 

然而,手语并非国际通用,全球地区都有不同的手语表达,比如香港与内地的手语不能完全互通,而德文中的「Brother(兄弟)」与「Sister(姐妹)」需要依赖面部表情表达,这些地域差异及细节,都为翻译沟通带来不少的挑战。团队依靠AI技术,重点识别面部表情、嘴形等动作,以解决翻译错误的情况,团队亦利用「直接偏好优化」(DPO)大模型技术,通过「正样本」及「负样本」训练AI,以精确捕捉手语中的各种细微差异。

这个手语与口语翻译项目,是浸大首批「1+1+1」联合资助项目之一,全部项目的资助总额达3000万元。研究阶段已历一年,团队透露,正进行精度优化及模型优化,期望未来可以推出翻译应用,让听障人士及健听人士无阻碍交流。

延伸阅读:浸大生千架无人机投射病童梦想画作 实践「以科技传递温暖」

北师港浸大副校长(研究与拓展)潘建新指,第二批21个拟立项项目已完成遴选,第三批项目申报即将启动。佘丹薇摄
北师港浸大副校长(研究与拓展)潘建新指,第二批21个拟立项项目已完成遴选,第三批项目申报即将启动。佘丹薇摄

浸大昨举办「粤港高校『1+1+1』联合资助计划研讨会」,会上展示浸大与北师港浸大的首批资助项目。除了协助听障人士的项目外,现场还涵盖文化保育、智慧医疗及数据科学等领域的介绍。北师港浸大副校长(研究与拓展)潘建新指,第二批21个拟立项项目已完成遴选,第三批项目申报即将启动,校方期望透过香港与珠海校园的深度协同,实现资源互补与人才跨境流动,提升两校在新兴学科领域的创新能力

记者佘丹薇

诚邀大家做问卷调查,话俾我哋知你对《星岛教育》有咩意见!连结:>>按此<<