[发明专利]一种多模式耦合的动作捕捉方法及装置

说明书

本发明公布了一种多模式耦合的动作捕捉方法及装置，获取多种类型的动作捕捉数据，选择数据的基准坐标系，将数据进行转换，得到具有统一坐标系的数据；再对捕捉到的各类数据进行耦合优化；包括数据获取过程、数据配准过程、数据耦合过程和数据发布过程。多模式耦合的动作捕捉装置包括：动作捕捉设备、客户端、服务端和数据接收客户端；服务端包括数据接收器、数据解析与存储器、数据配准器、数据融合优化器和数据发布模块。通过本发明可获得多种模式耦合的动作捕捉优化数据，满足单用户或多用户协同操作的动作捕捉需求，有效提高虚拟与真实环境之间交互的效率，提升用户沉浸感，可广泛应用于诸多领域。

技术领域

本发明涉及动作捕捉技术领域，尤其涉及一种多种模式的动作捕捉耦合方法及装置。

背景技术

动作捕捉技术可以获取真实环境中的人或物的运动状态和姿态，其思想萌芽普遍被认为是Fleischer在1915年发明的“Rotoscope”技术。更具现代意义上的动作捕捉技术产生于20世纪70年代后期，由心理学家Johansson在Moving Light Display实验中提出。20世纪80年代，通过电脑实现的针对人体动作捕捉的研究开始出现，美国Biomechanics实验室、MIT等高校先后对此进行了研究，推动了动作捕捉技术的发展，如1983年MIT研发出了一套叫做“Op-Eye”的图形牵线木偶，这个牵线木偶充当了第一套“动作捕捉服装”，引领了动作捕捉技术的风潮。20世纪90年代，人体姿态和动作识别、手指动作识别，以及人体和手部空间定位技术已经有所研究并得到一定程度的应用，以Tardif等人为代表的学者进一步推动了运动捕捉技术，使得该技术日趋发展成熟。21世纪以来，伴随着计算机科学和传感器技术快速发展，动作捕捉技术展现出强大的生命力，特别就近几年来，动作捕捉技术最新发展为实现虚拟环境与真实环境之间的通信提供了可靠的技术保障，多种代表型的动作捕捉设备相继问世，比如Motion Analysis、HTC Vive、Noitom、Kinect等，大大提升了用户的沉浸感和人机交互效率，进一步拓展了其应用范围。

从工作原理来看，目前主流的动作捕捉技术主要包括基于光学、基于惯性和基于计算机视觉等模式。不同模式的动作捕捉技术的性能各有优劣。三种主流动作捕捉模式在多对象捕捉能力、手指精细捕捉能力、定位精度和使用便捷性等方面比较结果如表1所示：

表1主流的动作捕捉模式的性能比较

可见，当前的动作捕捉技术明显存在的问题包括：一是单模式的动作捕捉技术尚不能满足对于用户整体和局部肢体的综合捕捉精度要求高的应用；二是单模式的动作捕捉技术在兼顾高定位精度和高便捷性等方面效果不理想，不能做到优势互补；三是单模式的动作捕捉数据一旦出现丢失，则无法复原或弥补，影响用户体验。例如，采用现有的动作捕捉技术难以同时提供较高的多对象捕捉能力和手指精细捕捉能力，也难以满足同时具备定位精度高和便捷性高的应用需求。

发明内容

为了克服上述现有技术的不足，本发明提供一种多模式耦合的动作捕捉方法及装置，通过使用基于光学跟踪、视觉识别、惯性测量等多种传感器的多模式动作捕捉耦合技术，有效耦合基于不同模式的动作捕捉获得的数据，实现不同模式技术的优势互补，提高动作捕捉性能，可同时提供较高的多对象捕捉和手指精细捕捉能力，具有定位精度高、便捷性高的优点。

本发明首先通过多种模式的动作捕捉设备获取多种类型的数据；然后以其中的某种模式的动作捕捉数据类型为基础建立坐标系，将其它类型的数据进行转换，建立统一的坐标系；最后对每个用户捕捉到的各类数据进行耦合优化；当用户使用任一种动作捕捉设备/模式时，捕捉获得的是经过多种动作捕捉模式耦合的优化数据，从而使得动作捕捉操作具备多种动作捕捉模式的技术优势。

本发明提供的技术方案如下：