精准医疗深度研究论文

据介绍，《达摩院 2022 十大 科技 趋势》采用了“定量发散，定性收敛”的分析方法，整个分析流程分为两部分：

达摩院分析了 159 个领域近三年 770 万篇公开论文、 万份专利，挖掘其中热点领域及重点技术突破，深度访谈近 100 位科学家，提出了 2022 年可能照进现实的十大 科技 趋势，覆盖人工智能、芯片、计算和通信等领域。

具体而言，这十大 科技 趋势分别是：AI for Science、大小模型协同进化、硅光芯片、绿色能源 AI、柔性感知机器人、高精度医疗导航、全域隐私计算、星地计算、云网端融合、XR 互联网。

达摩院认为，计算机科学改变科研的路径是从下游逐渐走向上游。起初计算机主要用来做实验数据的分析与归纳。后来科学计算改变了科学实验的方式，人工智能结合高性能计算，在实验成本与难度较高的领域开始用计算机进行实验的模拟，验证科学家的假设，加速科研成果的产出，如核能实验的数字反应堆，能够降低实验成本、提高安全性、减少核废料产生。

近年，人工智能被证明能做科学规律发现，不仅在应用科学领域，也能在基础科学领域发挥作用，如 DeepMind 使用人工智能来帮助证明或提出新的数学定理，辅助数学家形成对复杂数学的直觉。

达摩院预测， 在未来的三年内，人工智能技术在应用科学中将得到普遍应用，在部分基础科学中开始成为研究工具。

阿里达摩院城市大脑实验室负责人华先胜在接受 InfoQ 采访时表示，用 AI 去助力科研主要基于数据和计算这两点，在数据和算力的基础上形成 AI 能力。

“从本质上来讲，AI for Science 和 AI for Industry 差别不大，AI 也是作为推动领域发展的一个工具。只是这个领域有点不一样，它的门槛比较高，因为是科学家要做的事情，不是一个普通人、一般的技术工作人员可以做的事情。但是从本质上来讲，也是这个领域因为有了数据，可以设计算法去挖掘数据中的’玄机’，去解决这个领域的问题。”

对于从业者而言，AI for Science 需要 AI 专家要去了解科学问题，需要科学家要去了解 AI 的原理。“AI for Industry 的时候，其实是从单点的技术逐渐地走向了平台化，AI for Science 的未来，我想也会逐步地走向平台化。这个时候就是 AI 专家结合某个领域、某个学科，甚至是某个学科的某一类问题和科学家们一起去建造一个科研的平台。这个时候科学家们可能有更大的自由度、更强大的工具，能够更批量地去做科学研究，实现更加丰富、更加重要的科学突破。”华先胜说道。

谷歌的 BERT、Open AI 的 GPT-3、智源的悟道、 达摩院的 M6 等大规模预训练模型取得了重要进展，大模型的性能有了飞跃性提升，为下游的 AI 模型提供了发展的基础。然而大模型训练对资源消耗过大，参数数量增加所带来的性能提升与消耗提升不成比例，让大模型的效率受到挑战。

阿里达摩院智能计算实验室科学家杨红霞在接受 InfoQ 采访时表示，预训练大模型还有亟待突破的几个课题：

达摩院认为，大模型的参数规模发展将进入冷静期，大模型与相关联的小模型协同将是未来的发展方向。大模型沉淀的知识与认知推理能力向小模型输出，小模型基于大模型的基础叠加垂直场景的感知、认知、决策、执行能力，再将执行与学习的结果反馈给大模型，让大模型的知识与能力持续进化，形成一套有机循环的智能系统，参与者越多，受惠者越多，模型进化的速度也越快。

“大小模型的协同进化也可以更好的服务于更加复杂的新场景，例如虚拟现实、数字人，需要云边端的同时部署与交互，同时该体系对于保护用户数据隐私也更加的灵活，用户可以在不同的端上维护自己的小模型。”杨红霞向 InfoQ 说道。

清华大学计算机系教授，北京智源人工智能研究院学术副院长唐杰表示，大模型的发展，在认知智能方面，模型参数不排除进一步增加的可能，但参数竞赛本身不是目的，而是要探究进一步性能提升的可能性。大模型研究同时注重架构原始创新，通过模型持续学习、增加记忆机制、突破三元组知识表示方法等方法进一步提升万亿级模型的认知智能能力。在模型本身方面，多模态、多语言、面向编程的新型模型也将成为研究的重点。

达摩院预测， 在未来的三年内，在个别领域将以大规模预训练模型为基础，对协同进化的智能系统进行试点 探索 。在未来的五年内，协同进化的智能系统将成为体系标准，让全 社会 能够容易地获取并贡献智能系统的能力，往通用人工智能再迈进一大步。

电子芯片发展逼近摩尔定律极限，集成技术进步趋于饱和，高性能计算对数据吞吐要求不断增长，亟需技术突破。

光子芯片不同于电子芯片，技术上另辟蹊径，用光子代替电子进行信息传输，可以承载更多的信息和传输更远的距离。光子彼此间的干扰少、提供相较于电子芯片高两个数量级的计算密度与低两个数量级的能耗。相较于量子芯片，光子芯片不需要改变二进制的架构，能够延续当前的计算机体系。光子芯片需要与成熟的电子芯片技术融合，运用电子芯片先进的制造工艺及模块化技术，结合光子和电子优势的硅光技术将是未来的主流形态。

北京大学教授，上海光机所特聘首席研究员周治平表示，达摩院选择“硅光芯片”作为 2022 年 10 大 科技 趋势之一，印证了该技术在信息通信领域的巨大应用价值。硅光芯片的进一步扩展是硅基光电子芯片：利用集成电路的设计方法和制造工艺，将微纳米量级的光子、电子、及光电子器件异质集成在同一硅衬底上，形成一个完整的具有综合功能的新型大规模光电集成芯片。它更加显著地反映了人类 社会 在纳米技术方面的持续努力以及对更小型器件和更紧凑系统的极大兴趣。

达摩院预测，光电融合是未来芯片的发展趋势，硅光子和硅电子芯片取长补短，充分发挥二者优势，促使算力的持续提升。 未来三年，硅光芯片将支撑大型数据中心的高速信息传输；未来五到十年，以硅光芯片为基础的光计算将逐步取代电子芯片的部分计算场景。

绿色能源的大规模开发和利用已经成为当今世界能源发展的主要方向。在高比例绿色能源并网的趋势下，传统电力系统难以应对绿色能源在大风、暴雨、雷电等天气下发电功率的不确定性，以及复杂故障及时响应的应对能力。

在运行监测过程中，参数核验和故障监测仍需要大量的人工参与，故障特征提取困难，识别难度大。针对大规模绿色能源并网在稳定、运行和规划上面临的各种挑战，以人工智能为主的新一代信息技术将对能源系统整体的高效稳定运行提供技术保障和有力支撑。

人工智能与能源电力的深度融合，将推动大规模新能源发电、并网、输送、消纳和安全运行，完成对能源系统的升级改造。

中国电科院首席系统架构师周二专认为，新型电力系统要实现智能调控、运行推演将离不开 AI 技术，在 AI 技术的支撑下构建多个物理电网和 IT 应用程序交互的数字孪生体，每个数字孪生体解决某一个场景或某一个方面的电网运行问题。这样，当有足够的孪生体构成电网调控数字孪生系统来解决电网运行问题的各个方面，即可实现智能调控。

达摩院预测， 在未来的三年内，人工智能技术将帮助电力系统实现大规模绿能消纳，能源供给在时间和空间维度上能够互联互济，网源协调发展，弹性调度，实现电力系统的安全、高效、稳定运行。

机器人是技术的集大成者，在过去硬件、网络、人工智能、云计算的融合发展下，技术成熟度有了飞跃式地进展，机器人朝向多任务、自适应、协同化的路线发展。

柔性机器人是重要的突破代表，具有柔软灵活、可编程、可伸缩等特征，结合柔性电子、力感知与控制等技术，可适应多种工作环境，并在不同任务中进行调节。近年柔性机器人结合人工智能技术，使得机器人具备感知能力，提升了通用性与自主性，降低对预编程的依赖。

柔性感知机器人增加了对环境的感知能力(包含力、视觉、声音等)，对任务的迁移能力增强，不再像传统机器人需要穷举可能性，并且可执行依赖感知的任务(如医疗手术)，拓展机器人的适用场景。另一个优势是在任务中的自适应能力，面向突发变化能够及时反应，准确地完成任务并避免问题发生。

达摩院预测， 未来五年内，柔性机器人将充分结合深度学习带来的智能感知能力，能面向广泛场景，逐步替代传统工业机器人，成为产线上的主力设备。同时在服务机器人领域实现商业化，在场景、体验、成本方面具备优势，开始规模化应用。

传统医疗依赖医生经验，犹如人工寻路，效果参差不齐。人工智能与精准医疗深度融合，专家经验和新的辅助诊断技术有机结合，将成为临床医学的高精度导航系统，为医生提供自动指引，帮助医疗决策更快更准，实现重大疾病的可量化、可计算、可预测、可防治。

预计未来三年，以人为中心的精准医疗将成为主要方向，人工智能将全面渗透在疾病预防和诊疗的各个环节，成为疾病预防和诊疗的高精度导航协同。而随着因果推理的进一步发展，可解释性有望实现突破，人工智能将为疾病的预防和早诊早治提供有力的技术支撑。

数据安全保护与数据流通是数字时代的两难问题，破解之道是隐私计算。过去受制于性能瓶颈、技术信任不足、标准不统一等问题，隐私计算尚只能在少量数据的场景下应用。随着专用芯片、加密算法、白盒化、数据信托等技术融合发展，隐私计算有望跨越到海量数据保护，数据源将扩展到全域，激发数字时代的新生产力。

浙江大学教授，浙江大学网络空间安全学院院长任奎表示，隐私计算不是某个单项技术，而是大一统的称呼，包括最早 1982 年提出的安全多方计算，到后来的同态加密、可信计算、差分隐私等等。但隐私计算早前并不具备太大的实用价值，像全同态加密理论上很好，但性能开销过大，实际使用很困难。现在随着硬件加速和软件创新，我们逐渐看到实用化的趋势，当然这还有个过程。

达摩院预测， 未来三年，全域隐私计算技术将在性能和可解释性上有新的突破，或将出现数据信托机构提供基于隐私计算的数据共享服务。

基于地面网络和计算的数字化服务局限在人口密集区域，深空、海洋、 沙漠等无人区尚是服务的空白地带。高低轨卫星通信和地面移动通信将无缝连接，形成空天地海一体化立体网络。由于算随网动，星地计算将集成卫星系统、空中网络、地面通信和云计算，成为一种新兴的计算架构，扩展数字化服务的空间。

阿里达摩院 XG 实验室负责人张铭认为，星地计算要真正能够实现成功商用和规模化发展，仍涉及到不少核心技术的突破。

以低轨卫星终端为例，一是要以场景需求和商用价值为导向，二是需要从技术突破和解决工程问题等角度出发，设计高性能、低成本、适应场景多的商用产品。例如在关键技术方面，如何设计新型毫米波相控阵天线，以及相应的波束赋形控制算法，以低成本方式满足性能指标要求；如何设计新型星地通信协议，满足卫星互联网多用户、移动性、复杂动态业务需求；此外，在终端集成和优化方面，还存在很多工程问题需要突破和解决，从而满足海陆空不同场景下多方位需求。

达摩院预测， 未来三年，低轨卫星数量会迎来爆发式增长，与高轨卫星共同组成卫星互联网。在未来五年，卫星互联网与地面网络将无缝结合形成天地一体的泛在互联网，卫星及其地面系统成为新型计算节点，在各类数字化场景中发挥作用。

新型网络技术发展将推动云计算走向云网端融合的新计算体系，并实现云网端的专业分工：云将作为脑，负责集中计算与全局数据处理；网络作为连接，将多种网络形态通过云融合，形成低延时、广覆盖的一张网；端作为交互界面，呈现多元形态，可提供轻薄、长效、沉浸式的极致体验。云网端融合将促进高精度工业仿真、实时工业质检、虚实融合空间等新型应用诞生。

达摩院预测， 在未来两年内，将有大量的应用场景在云网端融合的体系运行，伴随着更多依云而生的新型设备，带来更极致、更丰富地用户体验。

随着端云协同计算、网络通信、数字孪生等技术发展，以沉浸式体验为核心的 XR（未来虚实融合）互联网将迎爆发期。眼镜有望成为新的人机交互界面，推动形成有别于平面互联网的 XR 互联网，催生从元器件、设备、操作系统到应用的新产业生态。XR 互联网将重塑数字应用形态，变革 娱乐 、社交、工作、购物、教育、医疗等场景交互方式。

达摩院预测， 未来三年内会产生新一代的 XR 眼镜， 融合 AR 与 VR 的技术，利用端云协同计算、光学、 透视等技术将使得外形与重量接近于普通眼镜，XR 眼镜成为互联网的关键入口，得到大范围普及。

人工智能助力辅助诊断事实上，国外早已有科学家和医生正在利用人工智能来从海量数据，比如电子健康记录、影像诊断、处方、基因组分析、保险记录甚至是可穿戴设备所产生的数据中来提取有用信息，来为特定的一类人群而不是特定疾病来制定合理的卫生保健计划。最为知名的当属IBM的“Waston”医生。人的大脑的记忆容量和时间是有限的，难以记住并理解日新月异的医学研究论文和上万种疾病。但人工智能不同，它可以通过深度学习技术，可以不间断从大量医学书籍、电子病历等完善自己。然后通过认知分析技术，凭借从各种渠道搜集的海量数据，迅速给出“意见”，指导医生做出诊断和治疗决策，并且不会因为人的各情绪导致缺诊或误诊，同时患者能够更快速地获得医疗服务，而医疗机构也可节省成本。

近年来机器人辅助外科手术的出现，引起了医学界乃至全世界的关注。什么是手术机器人呢？手术机器人不是机器人在做手术，而是手术机器人系统由经验丰富的外科医生操控机械手臂，来达到手术的目的。医生在机器人手术系统控制台上操作机械臂，被系统精确无误的实时传递，同时在患者体内微小的器械进行手术。医生采用手术机器人辅助手术，可以使手术更加精准、创伤更小、患者恢复更快。

远程手术机器人主要应用于远程手术，比如达芬奇机器人（da Vinci）。远程机器人手术系统主要由控制台和操作臂两部分组成。控制台是机器人手术系统的核心，由计算机系统、手术操作监视器。机器人控制监视器、操作手柄和输入输出设备等组成。术者坐在控制台前，通过机器人的控制监视设定器械动作幅度，张开角度的大小、器械闭合后锁定与否等，利用操作手柄进行操作。手术前需对操作臂活动范围进行设定。术者的手术操作转化为电信号，传导给机器人的操作臂，从而实现远程手术。

2001年7月《自然》 杂志报道了世界首例从美国纽约到法国Strasbourg的跨大西洋腹腔镜胆囊切除术也获得了成功，这是远程手术的一个里程碑，标志着外科手术跨时代的飞跃。现今远程手术机器人手术已应用于心脏外科、普通外科、泌尿外科、妇产科和骨科，具有普通腔镜或开放手术无法替代的优点：1、可进行精细操作，计算机系统可将术者在操作台上易于完成的大幅度动作通过缩小传输到机器人双臂手柄上，并可将术者的动作进行高频波过滤，消除器械的抖动和震颤，使操作更平稳准确。2、术者可坐在舒适的椅子上从容进行手术操作，不易疲劳3、手术通常由术者一人就可以完成。有时需1位洗手护士或助手医师，帮助安装、更换手术器械，协助止血，术后卸载器械装置等。

美国食品和药物监管局将远程手术机器人定为二类器械（那些被滥用或错用会造成亚种伤害的器械）来监管，因为它的控制信号都是依靠来自电脑的电磁脉冲。此外，远程手术的机器人操作手术时，术者使用的是机器人手柄或特制的器械，需要一段时间学习和训练，才能获得一种间接的触觉的反馈，否则压力过大会造成局部组织的损伤。在其他安全问题上，如黑客网络攻击造成互联网传输的中断、远程传输速度慢造成图像滞后，也会影响手术的精确性等等。由此可见，紧急应付措施及机器人操作的精确性和敏感性应该纳入术前考虑的问题。

对于特别脆弱的组织，医生在第一次远程 "触摸 "时可能已经施加了过大的压力。而正是考虑到这个问题，美国德克萨斯农工大学的一个团队创造了这个实验性的新系统。在其目前的形式下，它结合了光学距离传感器，应用于机器人抓取器的手指内侧，由人类操作者远程控制。当该设备闭上手指抓取物体时，传感器会测量自己和该物体之间的距离递减。这些数据会被传送到操作者佩戴的控制手套上，控制手套会向他们的指尖发出温和的电脉冲。这些脉冲的频率会随着操作者的手指越来越接近物体而增加。因此，操作者可以在实际接触物品之前，精细地调节他们即将施加到物品上的压力大小。

远程手术机器人的关键设备之一是互联网系统。互联网网速会影响图像的传输速度，进而影响手术的精确性。研究表明，600毫秒以内的滞后，在现实中对手术的影响是微乎其微。现在5G网络已经逐渐在普及，图像传输的滞后必将得到解决。

相比之下，互联网的稳定性则是关键的问题，如何保证互联网故障不会发生、服务器遭受黑客恶意攻击，是目前尚待解决的问题。加密在机器人和人类操作员之间流动的数据包将有助于防止某些类型的网络攻击。但是，对于使用无关数据阻碍系统的拒绝服务攻击，它无效。对于视频，加密还存在导致精细操作中不可接受的延迟的风险。为此，华盛顿大学（UW）电气工程团队开发“操作员签名”的概念，该概念利用特定外科医生或其他遥控操作员与机器人交互的方式来创建独特的生物识别签名。通过跟踪特定操作员应用于控制台仪器的力和扭矩以及他或她与机器人工具的相互作用，研究人员开发了一种新方法来验证该人的身份并验证操作员是他或她声称的人。

相信在不久的将来，随着机器人手术器械和手术技术的不断成熟和完善，信息网络技术的飞速发展，远程手术机器人必将越来越完善，能够帮助外科医生减少手术过程中的意外伤害，不断造福于人类。

“我们要消除众生的困苦和匮乏，带给他们愉悦和美丽。”——医疗机器人工程师

远程机器人系统已经允许外科医生在一个地方控制另一个地方的机器人手术工具，因此他们可以在远处进行手术。然而，一种新的近距离感应系统可以使这种手术比以往更安全、更精确。

在典型的远程机器人手术设置中，外科医生在视频屏幕上查看切口，移动手指在远程手术室中相应地移动机器人操纵器 "手指 "或其他器械。这种技术不仅可以让外科医生在一个城市给另一个城市的病人做手术，而且还可以在外科医生自己的位置上给病人做手术，帮助他们在做精细手术时，抚平手部的颤动。因此，这些系统通常都包含了触觉反馈功能，操作者可以通过指尖上的振动来感受到他们对病人身体组织施加的力的大小。

也就是说，对于特别脆弱的组织，医生在第一次远程 "触摸 "时可能已经施加了过大的压力。而正是考虑到这个问题，美国德克萨斯农工大学的一个团队创造了这个实验性的新系统。在其目前的形式下，它结合了光学距离传感器，应用于机器人抓取器的手指内侧，由人类操作者远程控制。当该设备闭上手指抓取物体时，传感器会测量自己和该物体之间的距离递减。

这些数据会被传送到操作者佩戴的控制手套上，控制手套会向他们的指尖发出温和的电脉冲。这些脉冲的频率会随着操作者的手指越来越接近物体而增加。因此，操作者可以在实际接触物品之前，精细地调节他们即将施加到物品上的压力大小。

在实验室测试中，11名志愿者使用该系统远程完成了一个物体抓取任务。每个人只在抓取器的视频引导下完成了两次，另外两次是在视频和触觉反馈的引导下完成的。当反馈被利用后，他们能够减少约70%的初始接触力。最终，研究人员希望这项技术能够在远程机器人手术中最大限度地降低患者的风险，并且以不分散注意力的方式进行。

“我们的目标是想出一种能够在不增加这项任务所需的主动思考负担的情况下，提高近距离估计的准确性的解决方案。”首席科学家Hangue Park说。“当我们的技术准备好在手术环境中使用后，医生将能够直观地知道他们的机器人手指离底层结构有多远，这意味着他们可以保持积极的专注于优化患者的手术结果。”

一篇关于这项研究的论文最近发表在《科学报告》杂志上。

从新型冠状病毒肺炎疫情开始到现在，中国是世界上疫情控制做得最好的国家。不过，关联境外输入的零星小规模偶发疫情持续不断，一旦疫情出现必然导致隔离发生，医院作为战疫主战场，影响许多需要医疗救助的病人。幸运的是，5G技术推动的远程医疗快速发展，尤其VR/AR技术立体呈现病人器官、组织病变形态，允许医生远程清晰诊断病人的病灶；手势识别精准定位医生的动作与病人身体的位置，远程控制医疗设备为病人诊疗、手术，为远程病人带来曙光。

一、远程医疗“VR/AR+手势识别”方案落地性强

自从5G诞生，云计算速度延迟的基础设施障碍没了，我们落地远程医疗就要考虑三方面因素：一是精度，医疗的精度必须高到离谱，有初 科技 手势控制精度能达到级别；二是立体，医生也是人，有正常的交互习惯，建立VR/AR病人器官、组织模型，最大化接近人体并看得更清楚；三是成本，类似一针药100多万的产品没有普及价值，这是一个软件算法配合硬件的方案，软件算法效率提升可以降低硬件成本，进而降低整体成本，实现“普通摄像头+深度学习”方案，大数据进一步训练，精准度越来越高。

首先来讲，基于计算机视觉的手势识别的技术方案优势明显，从医生动作信息输入到VR/AR模型做出反馈，这是一个动态过程，降低了硬件的束缚，为实时手术提供了可行性，而且，手势识别降低了硬件的依赖，让医生的手避免被其他物体遮挡，顺应医生视觉习惯，而且识别精度比医生手术刀微弱抖动还小，技术的落地基础有了。

其次，人体是一个三维立体结构，而手势识别也是三维立体识别，VR/AR模型呈现也是三维立体。这过程类似增强CT、MR或造影支持，从机器视觉获取人体三维模型信息到VR/AR模型立体呈现，呈现在医生眼前的就是一个立体的病人器官、组织，并清晰展示病灶情况，此时，医生远程诊断病人情况，需要手术的情况下，也可以借助远程专用VR/AR模型为基础的手术平台，实现两地病人与医生的链接，完成远程手术，为来不及远程运送的急重症病人提供新的希望。

最后，任何 科技 的产生都是为了造福大众，成本的高企无法适应市场需求，进行最优方案降低成本也是必须考虑的因素。目前来讲，基于机器视觉的手势识别方案分为两种“一种是用深度摄像头，一种是用一个或者多个普通摄像头实现。 而其中深度摄像头的方案又分为两种，TOF（Time of Flight，光飞时间）和结构光。”而不同方案的差别就像人的一只眼睛、两只眼睛看到景深层次不同，但是一只眼睛借助已有信息、关键提示等其他辅助软条件也可以达到预定效果，而普通摄像头信息延迟低于TOF数倍、拍摄角度大于TOF很多，虽然提高算法要求，但是降低综合成本，更及时、全面获取信息，也更适应医疗场景需求。

二、远程医疗VR/AR硬件低成本、高精度手势识别技术可行

在手势识别应用于VR/AR硬件方面，有初 科技 有落地项目进行实际验证，并把成本分成不同方案进行呈现，当然，包括最低成本的实现方案。

对于医疗来讲，高精度就是病人的生命，有初 科技 实现识别精度，为远程精准医疗提供技术可行性。实现手势识别依赖“摄像头+算法”的合理方案，得益于机器视觉和深度学习技术的发展，我们利用普通摄像头实现高精度的手势识别，对于应用的落地是一大利好。

而且，手势识别的高精度摆脱穿戴设备也是一大突破，一个穿戴设备套在手上，增加一层交互传感的误差，这个误差远远大于手术刀的误差，这一点无手套、无标记的手势识别也是有初 科技 的优势。

对于医疗来讲，延迟和视角是高精度的间接影响因素，却直接影响着医生对病人的治疗。利用现有SLAM摄像头实现手势识别，大部分用于SLAM的摄像头均为鱼眼或者广角灰度摄像头，在实现的精度上，用同样的计算资源或者用同样复杂度模型的话，基于深度的或者灰度的摄像头能够做到精度最高，RGB的精度反而相对会弱一些，因此，直接在SLAM的相机上实现手势识别的精度也能够达到比较满意的效果。

在成本、延迟、广角都占据优势的条件下，SLAM相机进一步加速“普通摄像头+深度学习”方案落地，也可能是未来的主流方案，等待临床数据去训练和验证。

三、远程医疗“最自然交互”手势识别成为VR/AR选择

最好的交互就是没有交互，当下的交互方式都是人适应机器，这样就容易导致用户的操作失误，医生的操作失误就会导致病人的生命危险，所以，交互方式适应人才是最佳方案。

人类诞生语言前，手势识最原始、最自然的交流方式，成为人的一种习惯、潜意识，出错率大大降低，而手势识别就是基于最自然的交互，适应医生的习惯，让医生全身心投入治疗，而不是分心于交互习惯。

而无论具有高度三维立体沉浸感的VR/AR，还是交互自然而生的手势控制，模仿人体日常生活中的行为方式，如挥手、握手、击掌、猜拳、抓取……动态追踪手势进行实时识别，保障动作识别的及时性、准确性。

为了提高真实手术场景的触感，基于VR/AR定制手术刀、镊子等设备，实现手势的触觉反馈体验，进一步感知手部复杂自由度的姿态和意图，未来手势识别成为VR/AR设备主流交互方式指日可待。