[发明专利]一种多模式耦合的动作捕捉方法及装置

摘要

本发明公布了一种多模式耦合的动作捕捉方法及装置，获取多种类型的动作捕捉数据，选择数据的基准坐标系，将数据进行转换，得到具有统一坐标系的数据；再对捕捉到的各类数据进行耦合优化；包括数据获取过程、数据配准过程、数据耦合过程和数据发布过程。多模式耦合的动作捕捉装置包括：动作捕捉设备、客户端、服务端和数据接收客户端；服务端包括数据接收器、数据解析与存储器、数据配准器、数据融合优化器和数据发布模块。通过本发明可获得多种模式耦合的动作捕捉优化数据，满足单用户或多用户协同操作的动作捕捉需求，有效提高虚拟与真实环境之间交互的效率，提升用户沉浸感，可广泛应用于诸多领域。

主权项

1.一种多模式耦合的动作捕捉方法，利用多种传感器设备及相应的动作捕捉模式获取多种类型的数据，选择数据的基准坐标系，将数据进行转换，得到具有统一坐标系的数据；再对捕捉到的各类数据进行耦合优化，由此获得多种模式耦合的动作捕捉优化数据；包括数据获取过程、数据配准过程、数据耦合过程和数据发布过程；具体包括以下步骤：1)获取多种模式的动作捕捉设备的数据，包括：动作捕捉设备的客户端获取捕捉数据并发送、服务端接收并存储数据到服务端对应该设备的数据共享内存空间；2)数据配准：进行数据两两配准，得到配准参数；数据两两配准针对两种模式的数据进行配准；对两种以上模式的数据进行耦合需要进行多次数据两两配准；数据两两配准具体执行如下操作：2.1获取多个坐标对，每个坐标对为空间中同一个点在两个动作捕捉设备对应的不同空间坐标系下的空间坐标，分别表示为X(x1,y1,z1,1)T和Y1(x3,y3,z3)T，x1、y1、z1为该点在空间坐标系1下的真实坐标，x3、y3、z3为该点在空间坐标系2下的真实坐标；2.2对坐标对进行拟合，得到配准参数；通过变换方法对多个点的坐标对进行拟合，求取变换矩阵作为配准参数；变换式表示为式1：Y＝MX  (式1)其中，X表示某一点在坐标系1下的坐标向量X(x1,y1,z1,1)T；Y表示相应点通过变换公式变换后的在空间坐标系2下的坐标向量；M为变换矩阵，作为数据两两配准的配准参数；使用逐步逼近方式求取配准参数：首先建立目标函数L，目标函数表示为式2：L＝∑||Y‑Y1||2＝∑||MX‑Y1||2  (式2)再通过梯度下降法优化目标函数，由此求取变换矩阵M，作为配准参数；3)数据融合：从服务端的共享内存空间读取各种类型的数据，针对不同用户识别得到不同用户的数据；针对每个用户进行数据融合，将融合后得到的数据存储于服务端另一块共享内存空间，用于后续数据发布；具体执行如下操作：3.1实时读取出步骤1)存储在共享内存空间中的数据，选定基准空间坐标系，根据步骤2)得到的配准参数将不同类型的实时捕捉数据变换到基准空间坐标系下；3.2在同一坐标系下将数据归于不同的用户；同一用户的数据包括动捕设备直接标识为该用户的数据和采用距离判定方法标识为属于该用户的数据；3.3对于同一用户的数据进行融合；包括如下情形：3.3.1若同一用户的数据包括同种模式的多个设备捕捉到的数据，则只选择采用处于精度最佳位置的设备捕捉到的原始数据；3.3.2若同一用户的数据包括多个设备捕捉到的数据，则选择精度高的原始数据或选择采用精度高的数据对精度低的设备进行数据配准得到的配准数据；3.3.3若同一用户的数据包括多个不同模式的设备捕捉到的数据，不同模式的设备捕捉到的用户部位不同，则将不同模式设备捕捉到的不同部位的数据进行合并；3.3.4若用户在某种模式捕捉的数据丢失时，使用其它模式的捕捉数据进行补充；经过融合后，同一用户的数据均采用配准数据；3.4根据步骤3.3处理所有用户的数据；将融合后得到的数据均存储于另一共享内存空间，用于数据发布；4)数据发布：为数据接收客户端提供实时的融合后的优化数据，实现多模式耦合的动作捕捉。