潮新闻客户端 通讯员 姚圣华
近日，一位“科技访客”在浙江理工大学信息科学与工程学院（网络空间安全学院）研究生团队的陪同下来到杭州文汇学校。
部分听障学生打起手语，几秒钟后就惊喜地看到，“访客”脑袋的屏幕上就显示出了相应的文字。
受访者提供
这位“科技访客”正是研究生团队自主研发的“手语一点通——基于毫米波雷达的手语识别交互装置”，通过毫米波雷达芯片捕捉采集手部细微动作，再经过特征提取和神经网络识别等多个环节，可实现手语与文字的秒级转换，实时地显示在屏幕上。此外，设备同样还具备语言实时转文字功能。
“当我在路上看到他们打手语时，我好奇他们在说什么，很想加入他们。同时，我想架起他们与健听人士之间的沟通桥梁，这是我研发这个智能手语翻译器的初心。”研发团队负责人林智言说。
“这是我们经过反复研究迭代的版本。”研究生团队在现场演示时介绍，“毫米波雷达通过发射高频信号并接收反射波，捕捉动作距离、多普勒频率和角度信息，再通过数据预处理，生成时间-多普勒形式的数据，经过一维时间卷积网络，逐帧识别手语动作。”
更值得关注的是，团队在前期调研中发现，声障、听障人士在表达时习惯使用“动作+表情+空间位置”的复合语言，而传统翻译往往只能实现顺序的字词转换。为此，他们在系统中特别设计了语义重构模块，能将离散手语词汇转化为连贯语句，有效弥补传统手语翻译中情感传递缺失的痛点。
当听障学生用手语打出“祝你身体健康”时，放置在中间的智能终端屏幕瞬间显示出完整的中文句子。
杭州文汇学校的老师们也加入到与装置的互动中，并和浙江理工大学团队的学生们亲切交流起来。理工学子们耐心地把意见详细记录下来，今后他们将继续推动装置优化，让“访客”早日入驻到需要的地方。
“转载请注明出处”