智能翻译官架起“无声桥”

随着操作者做出手语动作,一旁显示器便同步呈现出对应文字,手机应用程序还可将文字转化为清晰语音,甚至能把健听人语音实时转译为中国通用手语动画,轻松实现听障者与健听者的双向无障碍交流……1月6日,在柳州工学院信息科学与工程学院的实验室里,自动化系老师于维佳戴上一只看似普通的手语翻译手套,展示了一套精心打造的“易手语”无障碍沟通系统,引起在场参观者的赞叹。
“这是我们为听障群体设计的‘智能翻译官’,由智能手语翻译手套和配套App协同构成,核心硬件是手套,App负责信息处理转换。”于维ued运动科技佳介绍。
这只手套内藏205个精密部件,每根手指装有团队自主研发的柔性双向弯曲传感器,手掌配备惯性测量单元,能精准捕捉手指动作及手部三维运动轨迹。然而,达到这样的精准度并非一蹴而就。
“最初,系统经常出现误判,使用者手掌尺寸差异也导致难以适配。”团队成员姚江云回忆,传统的刚性传感器难以捕捉关节活动,即便是两款美国生产的柔性传感器也满足不了精细测量需求。为此,姚江云与团队成员刘斌尝试了上百种材料,才最终确定光学式电流型弯曲传感器方案,兼顾了灵敏度与精度。
在一次次测试中,多项改进被纳入量产设计。有一次,一位听障志愿者伸直手指时关节出现大幅反弯,传感器错误地识别为“弯曲”。团队成员杨智与李宁智迅速找出症结——传感器与手指贴合不足导致形变误读,随即改进了3D打印指套的内衬结构,最终实现了“零贴合”误差。
手势识别问题解决了,但如何应对手语中的“方言”差异与个人习惯?这成为团队面临的又一道难关。
AI算法的进化,最终破解了这道难题。此前因手语方言多、不同年龄使用者节奏差异大,AI识别率仅60%。为解决这一难题,团队建立涵盖8500个中国通用手语、13000个多国手语的数据库,采集百万条不同群体动作数据,将识别率提升至95%以上。团队成员邓钧忆与王一波引入“迁移学习”框架,手套10秒“手指体操”即可记住使用者“肌肉记忆指纹”,支持本地个性化模型训练;老师王娟设计的多模态融合模块,将互译延迟压缩至0.3秒。
至此,手套通过蓝牙传数据至App,完成双向转换,搭建起听障人士的无障碍沟通桥梁。
“我们的初衷,是让听障人士更好地融入社会。”为何要开启这项研发?于维佳回忆,2008年北京奥运会火炬传递活动途经广州时,他曾以学生志愿者身份协助听障人士,当亲历因沟通障碍面临的种种不便后,一个想法在他心中生根。
努力终有回响。随着AI技术日益成熟,这个念头渐渐清晰,最终与团队的技术积累结合,催生出“易手语”项目。截至目前,系统个人用户超8万名,机构用户覆盖南宁、广州等多地,含17所特殊教育学校、25个聋人就业单位。2025年末,“易手语”项目团队从全球近400支团队中脱颖而出,斩获第三届粤港澳大湾区数据应用创新大赛“年度创新应用”大奖。
“团队已将相关技术融入电子信息工程等专业教学,通过项目式学习培养学生跨学科创新能力与社会责任感。”未来,于维佳希望以“易手语”为基础,深耕AI无障碍领域,扩大科技助残覆盖面。
