[发明专利]基于关键片段检测的事件识别方法、系统、设备及介质

权利要求书

1.基于关键片段检测的事件识别方法，其特征是，包括：

获取待识别视频；基于视频片段的显著性，从待识别视频中提取关键片段序列；

将关键片段序列输入到预先训练好的深度学习事件识别模型中，输出待识别视频中的事件类别；

所述深度学习事件识别模型，包括：

空域缩放模块：将关键片段序列S中的每个片段在空域缩放到长宽相等的固定大小W×W；

3D CNN：3D CNN包含依次连接的卷积层、池化层、全连接层和Softmax层，将显著片段序列中的每个片段输入到3D CNN，从Softmax层输出片段的类别分值；

两个Softmax函数模块：将关键片段序列中的所有片段的显著性输入到其中一个Softmax函数模块进行归一化；

以归一化后的显著性为权值对关键片段序列中所有片段的类别分值进行加权求和得到视频的类别分值；

将视频类别分值输入到另一个Softmax函数模块进行归一化，得到归一化的视频类别分值。

2.如权利要求1所述的方法，其特征是，基于视频片段的显著性，从待识别视频中提取关键片段序列；具体步骤包括：

先按照设定的比例缩小输入待识别视频的空域尺寸；然后将视频分割成若干个设定长度的片段；再基于每个片段的颜色信息和运动信息，利用稀疏表示算法计算每个片段的显著性，按照显著性从大到小对片段进行排序，最后选取排序靠前的若干个片段组成关键片段序列。

3.如权利要求1所述的方法，其特征是，基于视频片段的显著性，从待识别视频中提取关键片段序列；具体步骤包括：

S11：按照设定的比例系数缩小输入视频V的空域尺寸得到视频V′；

S12：计算视频V′每一帧的光流得到视频每一帧每一个像素的运动特征；

S13：在时域，将视频V′分割成长度均为L的互不重叠的片段，将所有片段按时间顺序组成一个片段序列S′；

S14：对于片段序列S′中的每个片段，在空域将其分割成大小为s×s×L互不重叠的时空块，s×s为空域大小，L为时域长度；基于每个片段的运动特征和颜色特征，利用稀疏表示算法计算每一个时空块的显著性，通过求片段内所有时空块的显著性的均值得到当前片段的显著性；

S15：在时域，将输入视频V分割成长度为L的互不重叠的片段，所有片段按时间顺序组成一个片段序列S″；

S16：按照段序列S′的所有片段显著性由大到小的顺序，从片段序列S″中取出对应的设定数目的片段，按时间顺序将取出的片段组成关键片段序列S。

4.如权利要求3所述的方法，其特征是，S14中利用稀疏表示算法计算每一个时空块的显著性；具体步骤包括：

S141：将时空块内所有像素的光流向量化，得到运动向量；

将时空块内中间位置的帧所有像素的颜色值向量化，得到颜色向量；

将运动向量和颜色向量进行加权组合，得到时空块的信息向量；

S142：将除当前时空块之外的所有时空块的信息向量，按列排列成矩阵D，以D为字典求解目标函数，将当前时空块的信息向量x_i表示成其他时空块的信息向量的稀疏表示；所述其他时空块是指除当前时空块之外的所有时空块；

目标函数：

其中，α为稀疏表示的系数；λ为平衡稀疏度和重构误差参数；

S143：利用稀疏表示的重构误差表示当前时空块的显著性