[发明专利]图像分析方法以及系统

权利要求书

1.一种图像分析方法，其特征在于，包括：

获取t帧图像的影响因素，其中，所述影响因素包括所述t帧图像中的每帧图像中h个目标主体的自有特征以及h个目标主体之间的关系向量特征，每个目标主体的自有特征包括位置特征、属性特征以及姿态特征，其中，t，h为大于1的自然数，所述位置特征表示对应的目标主体在所述图像中的位置，所述属性特征表示对应的目标主体的属性，所述姿态特征表示对应的目标主体的动作，所述关系向量特征表示目标主体和目标主体之间的关系；

根据所述影响因素获得全景语义描述，所述全景语义描述包括目标主体和目标主体之间，目标主体和目标主体的动作之间以及目标主体的动作与目标主体的动作之间的关系的描述。

2.根据权利要求1所述的方法，其特征在于，所述获取t帧图像的全景语义描述的影响因素包括：

对所述t帧图像进行特征提取，从而得到t个特征向量；

对所述t个特征向量进行位置特征提取，从而得到所述位置特征；

对所述t个特征向量进行属性特征提取，从而得到所述属性特征；

对所述t个特征向量进行姿态特征提取，从而得到所述姿态特征；

对所述t个特征向量进行关系向量特征提取，从而得到所述关系向量特征。

3.根据权利要求2所述的方法，其特征在于，采用同一个卷积神经网络执行对所述位置特征的提取，所述属性特征的提取、所述姿态特征的提取和所述关系向量特征的提取。

4.根据权利要求2或3所述的方法，其特征在于，所述对所述t个特征向量进行关系向量特征提取，从而得到关系向量特征包括：

根据图像i中的目标主体a和目标主体b对特征向量i进行感兴趣区域池化，从而获得与目标主体a和目标主体b对应的特征向量v_a,b，i，a和b均为自然数，并且，0i≤t，1≤a,b≤h，所述特征向量i根据所述图像i提取；

根据目标主体a进行感兴趣区域池化，从而获得与目标主体a对应的特征向量v_a,a；

根据以下公式计算得到图像i中的目标主体a和目标主体b之间的关系向量特征

其中，w_a,b＝sigmoid(w(v_a,b,v_a,a))，sigmoid()为S型的函数，v_a,b为目标主体a和目标主体b对应的特征向量，v_a,a为目标主体a对应的特征向量，w()为内积函数。

5.根据权利要求1至4任一权利要求所述的方法，其特征在于，所述根据所述影响因素获得全景语义描述包括：

根据所述位置特征提取第一语义描述；

根据所述属性特征以及所述第一语义描述提取第二语义描述；

根据所述姿态特征以及所述第二语义提取第三语义描述；

根据所述关系向量特征以及所述第三语义描述提取所述全景语义描述。

6.根据权利要求5所述的方法，其特征在于，

采用同一循环神经网络执行所述第一语义描述、所述第二语义描述和所述第三语义描述的提取。

7.一种图像分析系统，其特征在于，包括特征提取模块以及全景语义模型，

所述特征提取模块，用于获取全景语义描述的影响因素，其中，所述影响因素包括t帧图像中的每帧图像中h个目标主体的自有特征以及h个目标主体之间的关系向量特征，所述自有特征包括位置特征、属性特征以及姿态特征，其中，t，h为大于1的自然数，所述位置特征用于表示对应的目标主体在图像中的位置，所述属性特征用于表示对应的目标主体的属性，所述姿态特征用于表示对应的目标主体的动作，所述关系向量特征用于表示目标主体和目标主体之间的关系；

所述全景语义模型，用于根据所述影响因素获得全景语义描述，所述全景语义描述包括目标主体和目标主体之间，目标主体和动作之间以及动作与动作之间的关系的描述。