[发明专利]一种基于HBase的船舶监控视频内容的快速检索方法

摘要

本发明公开了一种基于HBase的船舶监控视频内容的快速检索方法，通过训练好的深度哈希网络模型来提取视频关键帧图像的深度哈希特征，并将提取到的深度哈希特征向量写入HBase数据库中，以此构建视频关键帧的哈希特征库；在哈希特征库中的所有视频关键帧图像深度哈希特征向量进行遍历，计算待检索图像深度哈希特征向量与哈希特征库中的视频关键帧图像深度哈希特征向量之间的汉明距离；选取汉明距离最小的视频关键帧图像，通过舰船视频名称得到检索的舰船视频数据。本发明利用基于图像相似度的关键帧提取算法和基于深度哈希网络模型，实现基于HBase的船舶监控视频内容的快速检索方法，从而能够快速高效的检索出待检索图像对应的视频内容。

主权项

1.一种基于HBase的船舶监控视频内容的快速检索方法，其特征在于，包括以下步骤：步骤S1:通过图像相似度算法对海量的海洋监控视频数据进行视频关键帧提取，并将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中；步骤S2:通过训练好的深度哈希网络模型来提取视频关键帧图像的深度哈希特征，并将提取到的深度哈希特征向量写入HBase数据库中，以此构建视频关键帧的哈希特征库；步骤S3:通过训练好的深度哈希网络模型提取待检索舰船图像的深度哈希特征向量；步骤S4:步骤S2中哈希特征库中的所有视频关键帧图像深度哈希特征向量进行遍历，计算待检索舰船图像深度哈希特征向量与哈希特征库中的视频关键帧图像深度哈希特征向量之间的汉明距离；步骤S5:对步骤S4中计算得到的汉明距离进行排序，选取汉明距离最小的视频关键帧图像，并从HBase数据库中获取到该视频关键帧图像所属的舰船视频的名称，最后通过舰船视频名称得到检索的舰船视频数据；其中步骤S1进一步包括：步骤S11：获取海洋监测舰船视频数据；步骤S12:通过图像相似度算法对获取的舰船视频进行关键帧提取；该步骤进一步包括：步骤S121：对于海洋监测舰船视频片段{π₁,π₂,…,π_n},将π_i划分为视频帧图像,同时将每帧视频图像划分成M×N的图像块；步骤S122：提取视频帧图像块的特征向量,记为I_p(m,n)＝(x_p1,x_p2,...,x_ps)，其中p代表视频帧的位置,s代表特征向量的维度；步骤S123：将视频片段π_i的起始帧作为参考帧和关键帧,计算参考帧与后续帧对应图像块之间的特征距离：其中i为参考帧,j为后续帧,D_ij(m,n)是参考帧和后续帧对应的第m行n列图像块的特征距离；步骤S124：设T₁是局部阈值,如果D_ij(m,n)＞T₁,说明此图像块发生了显著变化；如果D_ij(m,n)＜T₁,则说明此图像块的内容基本没有发生变化；然后统计视频帧图像中发生显著变化的图像块的数目,记为C_j；步骤S125：将发生显著变化的图像块的数目C_j进行归一化：步骤S126：设T₂是全局阈值,比较和T₂,如果说明后续帧相对于参考帧发生了巨大变化,将第j帧作为关键帧和参考帧,重复上述操作；如果说明后续帧与参考帧相似,继续计算下一帧,直到视频片段π_i的所有帧计算完毕,此时即可得到视频片段的所有关键帧；步骤S13：将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中；其中步骤S2进一步包括：步骤S21：将步骤S13中提取到的视频关键帧图像通过深度哈希算法来提取视频关键帧图像的深度哈希特征向量；该步骤可进一步包括：步骤S211：利用海边监控视频数据集构建舰船目标数据集和步骤S1中提取到的视频关键帧图像对设置好DSH深度哈希网络模型进行学习训练；其中，DSH网络模型的目标函数形式化表示为：其中，表示两个二值化之后的向量之间的海明距离，其中N表示每次输入图片的数量，h_c2为k维二值化向量；而m表示硬门限值，在两向量之间的海明距离未达到门限值时，则以简记为0；使用欧氏距离代替海明距离并通过放宽离散约束项限制进行近似，得到可行的目标函数：其中，s₁表示相似对象映射成相同二进制的损失，s₂表示相似图像映射成为不同二进制序列的损失，而s₃为维持损失函数梯度为‑1或者+1值以保证训练的稳定性；λ表示正则化权重系数，hc_i,1表示第i对图像中第1个图像的输出结果，y_i表示第对图像是否相似，相似为0不相似为1，1表示k维全为1的单位向量；在模型和目标函数构建完成之后便可以通过已有数据集对构建的网络模型参数进行优化，DSH网络采用Mini‑batch SGD作为优化算法，但在此由于绝对值函数在x＝1时存在不可导点，因而采用次梯度进行近似，目标函数对于hash向量的偏导数可以表示为：在此：在得到目标函数相对于输出层的导数的基础上便可以通过方向传播算法进行参数的特征，从而实现模型的优化，最终得到优化完成的模型；DSH哈希特征的生成：图像输入到DSH网络后，通过网络的3层卷积和2个全连接层的学习，得到了图像的k位类哈希编码，并最终通过对k位的类哈希编码进行量化，得到k位的图像哈希编码(本文k的取值为12)，采用的量化函数为：利用海边监控视频数据集构建舰船目标数据集和步骤S1提取到的视频关键帧图像对设置好的DSH深度哈希网络模型进行学习训练；步骤S212：将数据库中的视频关键帧通过训练好的DSH深度哈希网络模型来中提取视频关键帧图像的深度哈希特征向量；步骤S22：将提取到的视频关键帧图像中的深度哈希特征向量写入到Hbase数据库中，以此构建视频关键帧的哈希特征库；其中步骤S3进一步包括：步骤S31：读取待检索的舰船的视频图片；步骤S32：利用步骤S211中训练好的DSH深度哈希网络模型对待检索舰船图像提取待检索图像的深度哈希特征向量；其中步骤S4进一步包括：步骤S41：遍历步骤S2中哈希特征库中的所有视频关键帧图像的深度哈希特征向量；步骤S42：读取待检索舰船图像的深度哈希特征向量；步骤S43：计算待检索舰船图像的深度哈希特征向量与哈希特征库中所有的深度哈希特征向量之间的汉明距离：S_QR＝h(Q,R)   (8)式(8)中Q代表的是待检索舰船目标图像的哈希特征，R代表的是匹配图像的哈希特征，h是汉明距离的计算函数，具体计算方式如式(9)：其中q,r都是n位的编码，表示异或操作，d(q,r)代表的是两个哈希码上不同的位的数量；d(q,r)的值越小，表示两张图像越相似；其中步骤S5进一步包括：步骤S51：读取步骤S4中计算得到的汉明距离，并且进行从小到大排序；步骤S52；选取步骤S51中与待检索舰船图像的深度哈希特征向量汉明距离最小的哈希特征库中的深度哈希特征向量；步骤S53：对步骤S52中找到的深度哈希特征向量从Hbase数据库中获取该深度哈希特征向量对应的视频关键帧图像及对应的视频名称；步骤S54：通过步骤S53中获取的视频名称检索出待检测视频数据。