[发明专利]近邻可逆的视频前景物体序列检测分割方法及系统

摘要

本发明提供一种近邻可逆的视频前景物体序列检测分割方法及系统，其中，方法包括：将视频的每一视频帧划分为超像素块；利用视觉关注属性特征表征每一个超像素块；构建并训练深度神经网络，预测每一个超像素块在空域上的初始前景度值；利用视觉关注属性特征在不同视频帧之间构建近邻可逆矩阵；利用近邻可逆矩阵传播超像素块的初始前景度值，构建迭代优化问题，求解超像素块在时空域上的最终前景度值；将超像素块的最终前景度值进行像素级转化；采用形态学平滑操作对像素的最终前景度值进行优化处理；根据像素的最终前景度值判定所述像素是否属于视频前景物体序列。本发明处理视频无需设置先验假定条件，尤其适用于包含复杂场景的大数据集。

主权项

1.一种近邻可逆的视频前景物体序列检测分割方法，其特征在于，包括：将待处理视频划分为多个视频帧{I₁,I₂,...,I_u‑1,I_u}，并将每个视频帧I_u按照当前设定的尺度划分为多个超像素块{O_u1,O_u2,...,O_ui,...,O_uNu}，其中，u为所述多个视频帧的个数，N_u为所述视频帧I_u中超像素块的个数；获取每个超像素块的视觉关注属性特征集合，所述视觉关注属性特征集合中每个视觉关注属性特征为所述超像素块中所有像素的所述视觉关注属性特征的平均值；针对每个视频帧I_u，依次将其前后各T帧的每个视频帧I_v与所述视频帧I_u作为当前的待处理视频帧，执行步骤一至步骤三的步骤，获得所述视频帧I_u对应的2T个近邻可逆矩阵；其中，I_v＝{O_v1,O_v2,...,O_vj,...,O_vNv}，I_v∈T_u，T_u＝{I_u‑T,...,I_u‑1,I_u+1,...,I_u+T}，T为正整数，N_v为所述视频帧I_v中超像素块的个数；步骤一：根据当前的待处理视频帧对应的超像素块，构建对应的近邻可逆矩阵F_uv：步骤二：针对当前的待处理视频帧中每个视频帧对应的每个超像素块，将另一视频帧中所有的超像素块按照与所述超像素块的视觉关注属性特征集合的相似度进行排序，若所述视频帧I_u中的超像素块O_ui和所述视频帧I_v中的超像素块O_vj都为对方的前K个最相似的超像素块，确定超像素块O_ui和超像素块O_vj互为可逆K近邻，其中，K为正整数；步骤三：针对所述矩阵F_uv中的每个元素f_ui,vj，若K≤K₀，则将所述元素f_ui,vj赋值为f_ui,vj＝exp(‑2K/K₀)，否则赋值为0，其中，K₀为预设的正整数；构建深度神经网络，基于所述深度神经网络利用图像显著领域的大规模数据集训练得到的前景度回归器，预测每个视频帧I_u中每个超像素块在空域上的初始前景度值；针对每个视频帧I_u，根据所述视频帧I_u对应的2T个近邻可逆矩阵，重复执行N次步骤A至步骤B，获得所述视频帧I_u中各超像素块在时空域上的最终前景度值，所述最终前景度值为最后一次执行步骤B之后所述各超像素块当前的前景度值，N为预设的正整数；步骤A：利用第一公式，将所述视频帧I_u中各超像素块当前的前景度值依次传播到所述视频帧I_u的前后各T帧的视频帧I_v中，得到所述视频帧I_u中各超像素块的2T个前景度传播值，所述第一公式为：其中，表示所述视频帧I_v中各超像素块在第t次迭代前的前景度值的列向量；表示所述视频帧I_u中各超像素块在第t次迭代前传播到所述视频帧I_v中的前景度传播值的列向量；步骤B：根据所述视频帧I_u中各超像素块的前景度值和所述各超像素块的2T个前景度传播值，构建优化问题并求解，获得并根据所述各超像素块的优化前景度值更新所述各超像素块当前的前景度值；针对每个视频帧I_u中每个像素，将所述像素所在的超像素块的最终前景度值作为当前尺度下所述像素的前景度值；采用形态学平滑操作，对每个视频帧I_u中各像素的前景度值进行优化处理，并针对每个视频帧I_u中每个像素的前景度值，若所述像素的前景度值大于预设的阈值，则判定所述像素属于视频前景物体序列，否则，判定所述像素属于视频背景物体序列。