手语翻译器毕业论文

手语翻译器作为不懂手语的正常人与使用手语的残障人士之间的沟通桥梁，近来成为研究热点，但是目前市场上成熟的手语翻译器并不多见。在此设计利用 LeapMotion 对手部识别精度高以及体积小巧等特性，实现了一种识别精度高、便于携带的手语翻译器。该翻译器不仅支持静态手语的识别，同时也能识别动态手语，实现了手语识别、文本翻译、语音播报，多语言翻译等功能。实验结果表明该手语翻译器具有识别准确率高的特点，能基本实现残障人士与正常人之间简单的交流，具有良好的应用前景

北京航空航天大学研究生王娜娜，清华大学研究生黄爽，历时两年，为失语者群体研究出一款直接将手语转化成语音的翻译臂环。应用后，可以实现失语者与普通人的流利对话。她们说，团队从没想过赚钱，只想帮失语者朋友解决沟通障碍。

演示者用手指向前方，又做出点赞的手势，“你好”的文字快速地反应在App“手音”的界面上。捕捉手部运动的肌电信号的是演示者手臂上的黑色臂环，看上去像跑步时用的护腕。

“手音”是一款针对失语者的小众产品，预计今年5月下旬上线。普通人可能难以想象这款产品的意义所在——手语是失语者彼此沟通的桥梁，但对于普通人来说是比所有外语都难的语言，“手音”将做润物细无声的沟通桥梁。

“手音”的创始人王娜娜和联合创始人黄爽原是北京航空航天大学2012级的学生，她们是同一个宿舍的闺蜜，两个充满活力的女生在2015年开始想为失语者做些什么。

在一次活动上，王娜娜认识了北京联合大学特殊教育学院毕业的失语者张权，并成了好朋友。因为王娜娜不会手语，这两位现实中的朋友相处更像网友，即便见面也往往会求助微信沟通。

回到宿舍，王娜娜把张权的故事告诉了黄爽。她们此后认识了更多的失语者，也愈发感到沟通的困难。“有时我觉得我说话是在伤害他们，一聊得开心就在想是不是忽略他们了，甚至有些自责。”王娜娜说。

两个善良的姑娘一直在想，张权是失语者中的幸运儿，不仅可以上学还有工作，更多的失语者因为沟通一直是社会的边缘人，她们假想：老板开会听不见，点外卖没办法和店家沟通，别人怎么能接纳他们？《新闻联播》有手语同步翻译，可其他直播节目如果没有字幕，失语者就永远无法享受它。

上网一查，数字更让两人咋舌：失语者(包含听障人士、脑中风患者、脑瘫患者和渐冻症患者)在中国的数量达到7000万人，占总人口的5%，这是一个非常庞大的数字。

两个人想起了参加“冯如杯”(冯如杯为北航校内学生学术科技作品竞赛)时的图像识别项目，当时这个项目获得了一等奖，或许可以用这种技术帮助失语者。王娜娜回忆：“我们感觉发现了一个没有人发现的需求，想成为第一个实现它的人，也让我们所学的知识有价值。”

于是，她俩着手研究手语翻译的可行性，开始查论文、做实验、写代码，用冯如杯一等奖奖金5万元作为启动资金行动起来。图像识别被否决了，因为不能随时携带摄像头；手套被否决了，因为太引人注意，最终确定了通过臂环捕捉肌电信号的方法。因为智能手表逐渐普及，失语者带着臂环看上去并不突兀。

产品一次次迭代，为的是要保护失语者的尊严。黄爽记得，她们做过“体验一天失语者”的活动。在便利店，因为结账时需要了解价格，失语者只能通过手机和店员沟通，时间稍长排在后面的人开始不耐烦地催促。“如果别人知道我是失语者可能会体谅，但不知道就会埋怨，越埋怨我越着急。”一些失语者不愿意别人称呼他们为“聋人”，自己会写成“龙人”。

确定研发方向后，关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性，最初只有两个人在录手语的数据，整天戴着臂环不停地做动作，黄爽开玩笑说：“练下去咱俩就要成为麒麟臂啦！”

“当你真正去帮助他们，他们就知道是为他们好，就会非常配合。”王娜娜说，为了保证数据的多样化，并且真正让失语者喜欢，她们后来联系了天津理工大学聋人工学院，合作进行数据采集和智能臂闭环开发，还与北京市朝阳区残联达成合作意向，为“手音”的产品服务化提供咨询、指导。张权也成了团队的顾问。

如今，“手音”涵盖了200个手语动作，为了保证精确度，每一个动作录制了1000人次。在有了自己的手势数据库之后，团队还搭建了一个7层BP神经网络(一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一)对数据速度进行训练，目前识别准确度已经达到95%。

直到去年8月，团队里只有王娜娜和黄爽两个人，后来其他人逐渐加入。他们没有办公室，开会都是“打游击战”，咖啡厅、餐厅、教室都被征用过，做研发都是在自己的实验室里，但王娜娜说：“我们一天都没有想过放弃。”后来，团队内有人因出国而退出，王娜娜在北航保研继续深造，黄爽保研至清华大学。两个女学霸没有因升学而放弃团队，继续坚定地吸引人才研发产品。

由女生主导的技术型创业团队很少见，两个人也经历了磨合。最初，黄爽遇到意见不同时会等着双方都冷静下来回宿舍再沟通。王娜娜告诉她，团队沟通对事不对人，要彼此敞开心扉，现在两个人可以为一件事辩论个“你死我活”，也能在达成一致意见后手挽手去吃吃喝喝。团队里还有其他技术人员，大家一起熬夜写代码的时候，两个女生也会偶尔化身为“程序员鼓励师”，一起为团队加油打气。

这两个分别出生于1994年、1995年的女生笑着说：“或许因为我们现在还没有走向社会，没有买房的苦恼和社会的压力，只是觉得我们所拥有的技术能够对社会有价值，能够真正帮助一些人，我们又有时间，那就做吧！”

她们关于未来有很多设想，“手音”可以实现面对面小聊和长时间对话的功能，未来还可以推出手语教学、手语字母和智能臂环闭环，解决手语教师缺乏等各种问题。此外，这种人工智能技术成熟后还可以应用在其他方面，例如可以教学钢琴的孩子更加准确地弹琴。

聋哑人理解文字意思是没有优势的呀。还有你说的手语翻译器，手语表达这种科技能够帮助聋哑人是有可能的，但是还是很麻烦，比如说他要自己先打字，打完字之后呢，他机器显示手语，只能说是省了他自己学的那个阶段，但是如果对方识字的话，那为什么不在手机上打字，对方看呢不就更方便了嘛，所以这个机器还是有点没必要。而对于健康的人来说，甚至你就直接说就可以了，更加快速和高效益，像你说机器和科技帮助他们变得比我们正常人还要高效是不可能的。至于你说的像海豚那样用，上部和交流什么的，你要知道，龙年的孩子都不一定是聋哑人，海豚的孩子一样都是像他们那样用生活交流，那是因为他们的遗传啊，优化等等吧，这是聋哑人的孩子，不是农家人的话，就代表着他们不可能出现这种选择和进化。