[发明专利]采用单目视觉的三维重建来进行步态识别的方法

摘要

本发明公开了一种采用单目视觉的三维重建来进行步态识别的方法，目的是解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机ΔL处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间三维曲线中步幅、步高特征值，利用支持矢量机的方法完成身份识别。本发明解决了一般步态识别方法成本过高、模型粗糙、识别率较低的问题。

主权项

一种采用单目视觉的三维重建来进行步态识别的方法，其特征在于包括以下步骤：第一步，结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数，方法是：1.1.构建实验场景：标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45°‑135°之间，并将立体标定靶放置于摄像机视场内；1.2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为x轴和y轴，建立图像坐标系O‑xy；在空间中，以摄像机中心Oc为摄像机坐标系的坐标原点，以摄像机主轴为Zc轴，以平行于x轴且通过Oc的直线为摄像机坐标系轴Xc，以平行于y轴且通过Oc的直线为摄像机坐标系轴Yc，建立摄像机坐标系Oc‑XcYcZc；同时，根据现实世界的水平面确立Ow‑XwYw面，根据垂直方位建立轴Zw，建立世界坐标系Ow‑XwYwZw作为一个基准坐标系来描述空间点和摄像机的位置，Ow为世界坐标系的坐标原点；1.3利用基于二维平面模板的摄像机标定方法，以二维标定靶为输入，通过坐标变换求出摄像机的内参数：图像坐标系原点O在摄像机坐标系中的图像坐标(cx，cy)、焦距f与摄像机单个像元在x轴方向投影的物理尺寸fx、焦距f与摄像机单个像元在y轴方向投影的物理尺寸fy；1.4采用基于立体标定靶摄像机标定方法和(cx，cy)、fx、fy，以立体标定靶为输入得到摄像机的外参数：摄像机在世界坐标系中的位置和姿态；第二步，跟踪获取人体步态二维轨迹：2.1运用微软的视频处理开发工具包Opencv的视频处理函数，将监控摄像头获取的连续人体运动视频转化为单帧图像序列；2.2利用背景检测算法去除单帧图像序列中图像内的背景，获得人体运动对象；采用Opencv中提供的轮廓提取算法对去除背景后的人体运动对象进行处理，获得人体整体轮廓；利用人体几何学原理，在人体整体轮廓中识别人体轮廓中的最低点作为脚步的跟踪点；2.3利用目标跟踪mean‑shift算法预测下一帧图像中人体运动对象检测区域；2.4根据步骤2.2得到的单帧图像序列中每帧图像中人体轮廓的最低点，确定并标记最低点在摄像机图像平面上的坐标位置，连接单帧图像序列中每帧图像内的脚步跟踪点坐标，形成人体步态二维轨迹；第三步，利用二维轨迹的步态周期信息构建一台虚拟摄像机，将虚拟摄像机安放在距实体摄像机ΔL的位置，ΔL为人体步态周期平移量，运用多视角重建理论重建步态中脚踝顶点的三维轨迹，方法是：3.1利用XwOwYw平面和第二步得到的人体步态二维轨迹来计算步态周期平移量ΔL，设单帧图像上跟踪点的坐标为(xi，yi)，单帧图像序列的整个序列中图像跟踪点的坐标值为(x1，y1)，(x2，y2)...(xi，yi)...(xn，yn)，n为单帧图像序列的帧数，n等于人体通过摄像机视场的时间t和摄像机帧率的乘积，设定滑窗大小为M个连续的坐标点，M为正整数，按公式一计算滑窗的质心：C(i，i+M‑1)＝[(xi+xi+1+...+xi+M‑1)/m，(yi+yi+1+...+yi+M‑1)/M]公式一其中C(i，i+M‑1)是以(xi，yi)为边界的滑窗的质心位置，记下此时滑窗质心Gi＝C(i，i+M‑1)，滑窗继续向后移动，当i＝n时停止滑动，得到一系列质心点G1，G2...Gn，这些点就是周期划分点，将它们连线得到平移量ΔL在摄像机图像平面上的投影，利用公式ΔL＝ΔL′/cosθ计算步态周期平移量ΔL，ΔL′为平移量ΔL在摄像机图像平面上的投影的长度，θ为标定摄像机时，摄像机主轴与人体步态轨迹的夹角，θ∈[45°，135°]；3.2通过构建虚拟摄像机得到实际摄像机和虚拟摄像机中两幅图像间的极几何约束关系，采用Sampson估计方法估计实际空间点P在实际摄像机平面图像I上的对应位置的点m，利用同样方法估计P在虚拟摄像机的平面图像I′上的对应位置的点m′；将m与实际摄像机的光心Oc相连，将m′与虚拟摄像机的光心O′c相连，构造出沿P点方向的两条射线lp和lp′，两条射线相交从而确定PO的位置，PO是重建的三维轨迹上的一点，求出单帧图像序列中每帧图像对应的PO点，在空间中拟合这些点得到一个人体步态的空间三维曲线；第四步，运用构建的人体步态的空间三维曲线进行身份识别：4.1根据踝关节运动模式，提取人体步态的空间三维曲线的步幅、前步幅、后步幅、步高特征；4.2运用支持矢量机的方法对提取的步幅、前步幅、后步幅、步高特征进行步态识别，输入步幅、前步幅、后步幅、步高组成的特征集到局部核函数。