[发明专利]融合静态信息与动态信息的视频序列分割方法

权利要求书

1.融合静态信息与动态信息的视频序列分割方法，包括：

(1)从Polar卫星携带的紫外成像仪所拍摄的紫外极光图像中，选取形态相似且时间上连续的紫外极光图像构成10个紫外极光序列，每个紫外极光序列包含20张紫外极光图像；

(2)在空域上对10个紫外极光序列进行分割：

(2a)从每一个紫外极光序列中都随机选出10张紫外极光图像，得到100张紫外极光图像，手动标注出这100张紫外极光图像的极光卵边界，作为标准结果，并用这100张紫外极光图像及其对应的标准结果共同构成训练样本集，用10个紫外极光序列中剩下的100张紫外极光图像构成测试样本集；

(2b)在训练样本集和测试样本集中的每一幅紫外极光图像上用眼动仪得到注视点，并将注视点连成闭合曲线；

(2c)沿着步骤(2b)中得到的曲线对训练样本集中的每一幅紫外极光图像滑动取块，得到训练块，记下每一个块的位置，并根据这些块的位置在每一幅紫外极光图像对应的标准结果上也取相同尺寸的块，作为标准块，将这些训练块和对应的标准块构成块字典；

(2d)沿着步骤(2b)中得到的曲线对测试样本集中的每一幅紫外极光图像滑动取块，得到测试块，记下每一个块的位置；

(2e)从步骤(2c)得到的块字典中找到与步骤(2d)中每一个测试块最相似的训练块，并将这个训练块对应的标准块放到该测试块所在紫外极光图像上的相应位置；

(2f)重复步骤(2e)，直到步骤(2d)中所有测试块所在的紫外极光图像的相应位置都放上标准块，即得到紫外极光序列的空域分割结果；

(3)在时域上对10个紫外极光序列进行分割：

(3a)以紫外极光序列的每一帧紫外极光图像作为输入，用K-means算法按灰度值将输入图像聚成三类，并用不同颜色标注，得到输入图像的初始标记图像；

(3b)用格子玻尔兹曼模型LBM求得紫外极光序列相邻帧之间的粒子运动场，并将运动场用彩色图像显示出来；

(3c)以(3b)中得到的粒子运动场图像作为输入，用分水岭算法将输入图像分割成许多区域；

(3d)根据(3a)中得到的初始标记图像应用区域合并算法对(3c)中的区域进行合并，得到紫外极光序列的时域分割结果；

(4)将步骤(2)得到的空域分割结果和步骤(3)得到的时域分割结果融合，即求两种结果的并集，得到紫外极光序列的最终分割结果。

2.根据权利要求1所述的方法，其中步骤(2b)中对训练样本集和测试样本集中的每一幅紫外极光图像用眼动仪得到注视点，是将紫外极光图像呈现在眼动仪显示屏的屏幕上；选择对紫外极光图像熟悉的人作为被试者，并让该被试者看屏幕上紫外极光图像的极光卵，眼动仪会捕捉到被试者在紫外极光图像上的注视点，并记录其位置。

3.根据权利要求1所述的方法，其中步骤(2e)中从步骤(2c)得到的块字典中找到与步骤(2d)中每一个测试块最相似的训练块，按如下步骤进行：

(2e1)提取任意一个测试块的局部二值模式特征h₁、局部定向模式特征h₂、加速鲁棒特征h₃及卷积神经网络特征h₄，得到测试块的列向量：H＝{h₁，h₂，h₃，h₄}^T，其中T表示转置；

(2e2)提取块字典中第j个训练块的局部二值模式特征w_j1、局部定向模式特征w_j2、加速鲁棒特征w_j3及卷积神经网络特征w_j4，得到块字典中第j个训练块的列向量：W_j＝{w_j1，w_j2，w_j3，w_j4}^T，其中，j＝1,2,...，q，q为块字典中训练块的总个数；

(2e3)求H到W_j的欧式距离：b＝||(H-W_j)||₂，当b最小时，记下此时的W_j，该W_j所对应的训练块就是与该测试块最相似的。