[发明专利]模型训练及图像识别方法、装置、存储介质及电子设备

权利要求书

1.一种模型训练方法，其特征在于，包括：

确定样本图像，并输入样本图像至待训练的特征提取模型中；

通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征；

针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果；

以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

2.如权利要求1所述的方法，其特征在于，将该局部图像的局部特征输入至第一识别模型中，具体包括：

将该局部图像的局部特征输入至该局部图像对应的第一识别模型中，其中，该局部图像对应的第一识别模型与其他局部图像对应的第一识别模型不完全相同。

3.如权利要求1所述的方法，其特征在于，确定样本图像，并输入样本图像至待训练的特征提取模型中，具体包括：

从样本视频中选取出若干帧图像，并将选取的每一帧图像确定为样本图像；

确定由各样本图像组成的图像序列，并输入所述图像序列至待训练的特征提取模型中；

通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，具体包括：

采用所述特征提取模型中的三维卷积核，在输入所述特征提取模型的图像序列上滑动，并将每次滑动后所述三维卷积核所占据的各样本图像的图像区域的集合作为从样本图像中划分出的局部图像；

以所述三维卷积核对各局部图像进行卷积，并得到卷积后每个局部图像对应的局部特征。

4.如权利要求1所述的方法，其特征在于，所述样本图像中包含目标对象；

将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果，具体包括：

将该局部图像的局部特征输入至第一识别模型中，通过第一识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对该局部图像的识别结果。

5.如权利要求4所述的方法，其特征在于，从预先确定的各类型的行为中，识别所述目标对象执行的行为，具体包括：

根据该局部图像的局部特征，确定所识别出的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的预测概率分布；

以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整，具体包括：

针对每个局部图像，根据该局部图像所属的样本图像的标注，确定该局部图像所属的样本图像中的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的标准概率分布；

确定该局部图像的预测概率分布和标准概率分布之间的交叉熵；

以各局部图像的预测概率分布和标准概率分布之间的交叉熵之和最小为目标，对所述特征提取模型中的参数进行调整。

6.如权利要求4所述的方法，其特征在于，所述方法还包括：

通过所述特征提取模型，根据输入所述特征提取模型的样本图像，提取出由各局部特征构成的所述样本图像的全局特征，并将所述全局特征输入至第二识别模型；

获取样本图像中所包含的目标对象的肢体节点在所述样本图像中的位置信息，通过所述第二识别模型，从所述全局特征中确定出各肢体节点所占据的图像区域对应的特征，作为目标特征；

根据目标特征，通过所述第二识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对所述样本图像的识别结果；

以所述样本图像的标注和识别结果之间的差异最小为目标，调整所述特征提取模型和所述第二识别模型中的参数。