[发明专利]骨架序列中基于局部关节点轨迹时空卷的行为识别方法

说明书

本发明属于人工智能技术领域，公开了一种骨架序列中基于局部关节点轨迹时空卷的行为识别方法，自输入的RGB视频数据和骨架关节点数据中提取局部关节点轨迹时空卷；利用基于RGB视频数据集的预训练模型提取图像特征；对训练集中每个关节点的每一种不同的特征分别构建码本并且分别进行编码，将n个关节点的特征串联为特征向量；利用SVM分类器进行行为分类与识别。本发明将手工特征以及深度学习特征融合，并使用深度学习方法提取局部特征，多种特征的融合可以达到一个稳定且准确的识别率；本发明使用姿态估计算法估计的2D人体骨架以及RGB视频序列提取特征，成本较低，且精度较高，应用于真实场景有着重要的意义。

技术领域

本发明属于人工智能技术领域，尤其涉及一种骨架序列中基于局部关节点轨迹时空卷的行为识别方法。具体为一种RGB和2D骨架序列中基于局部关节点轨迹时空卷的行为识别方法。

背景技术

目前，业内常用的现有技术是这样的：

随着人工智能技术的发展，以及政府和产业界的投入增多，人工智能产业蓬勃发展，成为当今科学研究的热点。人工智能应用的普及对社会的影响日益凸显，在智能交通、智能家居、智能医疗等民生领域都有着积极的影响。人工智能作为新一轮科技革命的核心力量，推动着国家的进步。行为识别作为人工智能领域的一个分支，同样起着重要的作用。

由于监控设备的普及，产生了大量的视频数据，依赖人工分析海量数据变得尤为困难，行为识别技术的出现，可以快速以及准确的分析视频中人物动作以及突发事件，并快速反馈。因此，很大程度的节省了人力资源，避免紧急情况发生和事态恶化。行为识别关键技术在于如何准确定位目标区域，如何获取鲁棒的行为特征以及准确分类。目前已经提出许多方法，这些方法可以分为基于RGB视频数据，基于深度数据方法，基于骨架数据以及基于多种数据融合的方法。基于骨架数据的方法可以实现目标的快速定位，免去目标定位的步骤，大大提高了算法的效率。并且，随着深度传感器的普及以及一些实时姿态估计算法的出现，基于骨架数据的方法引起了广泛的关注。

首先，在许多基于骨架的行为识别方法中，使用深度信息解决该问题是主流方法。这种方法将人体骨架关节点置于三维空间中，因此骨架具有水平，垂直和深度三个方向的坐标。在视频的每一帧中，每一个关节点都有其对应的三维坐标。人体骨架关节点位置随着时间的变化而变化。许多方法通过分析关节点之间的相对位置，帧间同一关节点的相对位置或者关节点夹角变化对行为进行建模。尽管使用深度数据取得了较好的识别精度，但是由于深度探测器成本较高，并且应用于场景复杂的真实户外场景准确率较低，导致这些方法难以应用于真实场景。

近来，实时人体姿态估计算法的出现，使得从RGB图像序列中直接提取骨架信息变得可能，使用RGB图像序列和2D骨架信息也可以构建紧凑高效的特征。这对行为识别技术应用于真实场景有着重要的意义。

其次，大部分基于骨架的方法使用全局关节点轨迹计算特征，全局的关节点轨迹记录了关节点位置在完整视频中的变化。但是全局特征会受视角变化，动作执行速率变化等因素的影响严重，因此难以对时间信息进行建模。

目前，improved dense trajectory(iDT)方法与本发明较为相似，iDT方法首先在人体区域，通过划分网格的方式在图片的多个尺度上分别密集采样兴趣点并逐帧跟踪点来获取关键点轨迹，为了避免跟踪时出现漂移现象，每隔L帧进行重新采样和跟踪。对于某个特征点在连续的L帧图像上的位置即构成了一段轨迹，后续的特征提取沿着各个轨迹在各个尺度上分别进行。轨迹本身可以构成轨迹形状特征描述子，因此轨迹的位置也作为特征之一。此外，还使用了表征运动信息和表观信息的HOG,HOF,MBH特征，特征是由沿着每一个特征点长度为L的轨迹计算得到。对于一段视频，存在着大量的轨迹，每段轨迹都对应着一组特征(trajectory,HOG,HOF,MBH)，之后再对所有关键点轨迹的特征进行编码，得到编码后的特征向量，最后进行的视频分类。

综上所述，现有技术存在的问题是：