[发明专利]关键点检测方法、装置、存储介质及电子设备

说明书

本发明实施例提供一种关键点检测方法、装置、存储介质及电子设备。其中，所述关键点检测方法包括：根据视频序列包括的第一视频帧和第二视频帧获取视频光流数据，视频光流数据用于指示在第二视频帧和第一视频帧之间各个像素的位移数据，第二视频帧包括视频序列中时序连续且位于第一视频帧之前的至少一个视频帧；根据已获得的第二视频帧中目标对象的第二关键点数据和视频光流数据，获取第一视频帧中目标对象的第一关键点数据。采用本发明的实施例，可以有效地利用连续视频帧的时序信息，对连续视频帧中关键点的准确定位。

技术领域

本发明实施例涉及机器学习技术，尤其涉及一种关键点检测方法、装置、存储介质及电子设备。

背景技术

物体(如行人、动物、车辆等)关键点检测是在涉及视频内容解析和检索的应用中使用的重要技术，被广泛地应用在机器人、游戏娱乐、视频网站的内容分析和推荐等领域。目前，针对物体关键点检测的研究分为基于图像的关键点检测和基于视频的关键点检测。

例如，在基于视频的人体关键点检测中，大多仍依赖基于图像的人体关键检测来对连续的视频帧进行处理，易造成关键点定位不准确、计算量大、计算耗时等问题。

发明内容

本发明实施例提供一种关键点检测技术方案。

根据本发明实施例的一方面，提供一种关键点检测方法，包括：根据视频序列包括的第一视频帧和第二视频帧获取视频光流数据，所述视频光流数据用于指示在所述第二视频帧和第一视频帧之间各个像素的位移数据，所述第二视频帧包括所述视频序列中时序连续且位于所述第一视频帧之前的至少一个视频帧；根据已获得的所述第二视频帧中目标对象的第二关键点数据和所述视频光流数据，获取所述第一视频帧中所述目标对象的第一关键点数据。

可选地，所述根据视频序列包括的第一视频帧和第二视频帧获取视频光流数据，包括：通过用于生成视频光流数据的深度神经网络，根据所述第一视频帧和所述第二视频帧获取视频光流数据。

可选地，所述根据已获得的所述第二视频帧中目标对象的第二关键点数据和所述视频光流数据，获取所述第一视频帧中目标对象的第一关键点数据，包括：根据已获得的所述第二视频帧中目标对象的第二关键点数据，以所述第二关键点为中心选取若干第二像素；根据所述视频光流数据所指示的所述第二视频帧和所述第一视频帧之间的所述第二像素的位移数据，获取所述若干第二像素在所述第一视频帧中各自对应的第一像素的数据；根据若干所述第一像素的数据，获取所述第二视频帧中所述目标对象的第一关键点数据。

可选地，在通过用于生成视频光流数据的深度神经网络，根据所述第一视频帧和所述第二视频帧获取视频光流数据之前，所述方法还包括：使用多个样本视频帧序列训练所述深度神经网络，所述样本视频帧序列中的每个样本视频帧含有视频光流数据的标注信息。

可选地，所述视频光流数据为光流图，所述光流图中的部分像素与所述第一视频帧中的像素和第二视频帧中的像素对应，并指示所述第一视频帧中的像素相对于所述第二视频帧中的对应像素的位移信息。

可选地，所述深度神经网络为全卷积神经网络。

可选地，所述第一关键点和第二关键点均为人体的关键点，或者均为人脸的关键点。

根据本发明实施例的第二方面，还提供一种关键点检测装置，包括：第一获取模块，用于根据视频序列包括的第一视频帧和第二视频帧获取视频光流数据，所述视频光流数据用于指示在所述第二视频帧和第一视频帧之间各个像素的位移数据，所述第二视频帧包括所述视频序列中时序连续且位于所述第一视频帧之前的至少一个视频帧；第二获取模块，用于根据已获得的所述第二视频帧中目标对象的第二关键点数据和所述视频光流数据，获取所述第一视频帧中所述目标对象的第一关键点数据。

可选地，所述第一获取模块包括：第一获取单元，用于通过用于生成视频光流数据的深度神经网络，根据所述第一视频帧和所述第二视频帧获取视频光流数据。