[发明专利]一种基于短基线立体成像的人手及其对象交互跟踪方法

说明书

技术领域

本发明涉及肢体动作分析领域，尤其是涉及了一种基于短基线立体成像的人手及其对象交互跟踪方法。

背景技术

在计算机视觉领域中，人类手部动作与姿态的三维视图恢复具有重要的意义。人们无论在与物理世界打交道或者是与人类沟通都需要一直用到手部，并且使用方式多样且各不相同。因此，一种准确、稳健且实时的对于手部动作分析与跟踪的方法对人类来讲有重要影响，并且在许多领域有巨大的商业潜力或实用价值，例如物联网的人机交互、医学肢体康复、手语动作分析等，都亟待开发研究。此外，在安检领域的手持物体姿态分析、指挥系统的远程手势识别、智能机器人的拟人仿真及替代人类在危险或不适工作环境中的动作设计等方面都有极大应用前景。

三维手部姿态的跟踪仍然具有挑战性。由于形状复杂、细节丰富、姿势多变，对手型的建模并不容易。同时在细节方面，因为多关节结构的不确定性及其长短程度的不统一性，在取景时往往出现模糊不清的姿势和自遮挡的现象，并且动作的急缓、轻重也对姿态的建模带来不良影响，因此在对手型建模的脉络填充过程带来困难。

本发明提出了一种基于随机优化求解最优参数的新框架。对输入成对人手立体彩色图像进行辨识度匹配图的计算，然后进行带皮肤质地的人手建模，在基于粒子群算法的基础上求解模型的参数，并且计算其区域延续性按评价结果排列，得分最高的模型用于预测跟踪，并叠加到实际场景中进行投影。本发明可以处理不同程度弯曲和姿态的手型建模，提供了基于粒子群算法的参数求解方法，准确并有效地对人手及其对象交互进行跟踪。

发明内容

针对解决在复杂场景中进行人手及其对象跟踪的问题，本发明的目的在于提供一种基于短基线立体成像的人手及其对象交互跟踪方法，提出了一种基于随机优化求解最优参数的新框架。

为解决上述问题，本发明提供一种基于短基线立体成像的人手及其对象交互跟踪方法，其主要内容包括：

(一)场景建模；

(二)辨识图建模；

(三)模型评价；

(四)随机优化。

其中，所述的场景建模，给定输入的成对立体彩色人手图像，1)使用人手特征数据库自动并可视化地仿真人手，使用22根骨头进行对右手带有皮肤特质的模拟，同时，对该仿真右手进行类似血脉的网丝状物填充，共相互连接1491个节点，并且该手腕具有26个自由度；每只手由27个参数控制，分别为：3个参数表征手的位置、4个参数用于四次元数表征手体转动以及五根手指各使用4个参数表征弯曲角度；2)对于与人手交互作用的对象其场景建模则使用7个参数，3个参数表征对象位置及4个参数用于四次元数表征对象转动，该对象具有6个自由度；综上，可用多维度数组管理所有参数用于建立独特的人手及其对象模型。

所述的辨识图建模，包括辨识度划分和适度响应分类和辨识度统计。

所述的辨识度划分，根据信息论中不确定熵含有信息量大于确定熵的原理，在检查彩色图像中颜色的延伸性可用此原理测定仿真性程度，具体为：对于图像中的每个像素p，使用局部自相关公式计算以其为中心的近邻B×B的主曲率λ₁和λ₂，同时不失一般性，假设λ₁≥λ₂且B＝3，当λ₁和λ₂都处于较小值时说明颜色区域较为统一，当λ₁和λ₂都较大时说明出现颜色的拐角，而当λ₁比λ₂要大得多时，则说明像素p的近邻是边缘区域，因此辨识度可用哈里斯角点检测方程定义为：

ch＝λ₁·λ₂-k(λ₁+λ₂)²(1)

其中，k标准取值为0.04。

所述的适度响应建立，对于不同的颜色延续性给予不同的响应，即对于像拐角的像素区域给予低响应，对像边缘的像素区域给予高响应，对均衡区域给予零响应，此外，在每张图像中都对辨识度进行相对测量，向量(λ₁,λ₂)量级d定义为：

对数用于改变比例，接着，对整张图像计算d的中值m_d＝d/2。

所述的辨识度统计，利用激活函数进行回归计算，识别不同程度的响应，其激活函数为：