[发明专利]图像处理、神经网络训练方法及装置、存储介质

说明书

本公开提供了一种图像处理、神经网络训练方法及装置、存储介质，其中，所述图像处理方法包括：根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。本公开可以从静态图像中定位出目标对象的可活动部件。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种图像处理、神经网络训练方法及装置、存储介质。

背景技术

目前在图像理解领域，一般倾向于让机器理解物体的语义，例如图像分类、分割、检测等任务都是基于给定图像中物体的语义来进行的，不太关注对物体的物理结构的理解。

相关技术中，理解物体的物理结构的工作主要包括人体姿态识别和人脸关键点识别。这些任务通常使用预定义好的人体和人脸关键点，因而只能应用于人体、人脸这种结构特征统一的对象上，无法应用于通用物体。

发明内容

有鉴于此，本公开提供了一种图像处理方案和神经网络训练方案。

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。

在一些可选实施例中，所述基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，包括：基于所述至少一个第一稠密光流，确定所述目标对象中的多个位置中每个位置的光流方差；基于所述多个位置中每个位置的光流方差，确定所述目标对象的所述第一可活动位置。

在一些可选实施例中，所述基于所述多个位置中每个位置的光流方差，确定所述目标对象的第一可活动位置，包括：对所述多个位置中每个位置的所述光流方差进行归一化处理，获得所述每个位置的归一化光流方差；将所述多个位置中归一化光流方差的最大值在所述第一静态图像中所对应的位置作为所述目标对象的所述第一可活动位置。

在一些可选实施例中，所述第一稀疏光流包含所述已知可活动位置的坐标信息和所述已知可活动位置的目标速度。

在一些可选实施例中，如果所述已知可活动位置集合中包含的所述已知可活动位置的个数为0，则所述第一稀疏光流为空。

在一些可选实施例中，所述方法还包括：将所述第一可活动位置添加到所述已知可活动位置集合中，进行下一循环预测，得到所述目标对象的第二可活动位置。

在一些可选实施例中，所述将所述第一可活动位置添加到所述已知可活动位置集合中，包括：响应于所述第一可活动位置对应的所述光流方差低于预设阈值，将所述第一可活动位置添加到所述已知可活动位置集合中。

在一些可选实施例中，所述根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流之前，所述方法还包括：对所述第一静态图像和/或所述第一稀疏光流进行降维处理。

在一些可选实施例中，所述根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流之前，所述方法还包括：基于预设分布进行随机采样，获得所述至少一个第一随机向量。

在一些可选实施例中，所述基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置之后，所述方法还包括：获取所述目标对象的可活动部件中每个可活动位置的预测速度；基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像，得到目标图像。