[发明专利]一种基于结构及相似度的视频提取PPT方法

权利要求书

1.一种基于结构及相似度的视频提取PPT方法，其特征在于：包括以下步骤：

步骤S1：通过视频采集设备采集含有PPT内容的视频，并上传到PC端，直接读取视频的长、宽和总帧数，提取视频的第一帧图像，作为起始图像；

步骤S2：对图像依次进行颜色空间转换、高斯滤波、膨胀操作去除干扰边缘和噪声点，然后利用Canny算子对膨胀操作后的图像进行边缘检测，再采用轮廓检测寻找图片中所有可能的轮廓，最后找到其中面积最大的轮廓，即目标区域；

步骤S3：利用多边形拟合和透视变换操作对目标区域进行裁剪和视角矫正，将目标区域转化为矩形；

步骤S4：相隔2秒再次在步骤S1的视频中取一帧视频图像，作为新帧，重复上述步骤S2到步骤S3的操作，获取第二图的PPT目标区域；

步骤S5：对两PPT图片进行相似度比较和差异度比较操作，然后留下第二幅PPT图，重复执行上述步骤S4和步骤S5直至视频结束；

步骤S6：将所有最终得到的PPT内容图片进行再裁剪和时间序列筛选处理，最后以PDF文件形式保存；

所述步骤S2具体包括以下步骤：

步骤S21：首先通过颜色空间转换将彩色图像转变为灰度图像，用以消除帧图像的背景区域存在的颜色信息干扰；接着采用高斯滤波的方式对图像冗余的轮廓信息进行滤除；然后采用形态学膨胀操作扩张图像中的高亮部分，缩小黑暗部分的面积；最后对图像进行Canny边缘检测，找到图像中物体的真实边缘；

步骤S22：利用轮廓检测对边缘检测结果进行拓扑分析，找到其中所有可能的最外层轮廓而忽略轮廓中的孔边界，最后提取所有可能轮廓中面积最大的轮廓作为PPT目标区域；

所述步骤S3具体包括以下步骤：

步骤S31：通过对目标区域进行多边形拟合，用以减少目标区域轮廓点集中的点的数量；

步骤S32：对拟合结果以外的图像进行裁剪处理，只留下目标区域；将多边形拟合结果的四个顶点作为透视变换的四个原始点，变换到四个规定点上，使目标区域转化矩形；

所述步骤S5具体包括以下步骤：

步骤S51：通过结构相似性来衡量两张图片是否为相似图片，结构相似性的范围为0到1；若结构相似性小于阈值，则继续进行差异度比较处理，若结构相似性大于阈值，则说明两张图片为相似图片，不进行差异度比较、保存处理；给定两个图像x和y，两张图像的结构相似性按照以下方式求出：

其中μ_x为x的平均值，μ_y为y的平均值，是x的方差，是y的方差，σ_xy是x和y的协方差，c₁＝(k₁L)²，c₂＝(k₂L)²是用来维持稳定的常数，L是像素值的动态范围，k₁＝0.01，k₂＝0.03；

步骤S52：将两张PPT图片利用结构相似度计算它们的结构差距图，并且在新帧所对应的PPT图片中用红色矩形框将两者的结构差距框出，计算所有矩形框的总面积占据PPT图片总面积的比例，若大于所设定的阈值，则表明二者结构差距过大，应认为是不同页的PPT内容，故保存旧帧对应的PPT图片，且此时若新帧是视频的最后一帧时，也同时保存其对应的PPT图片；若小于所设定的阈值，则表明二者结构差距不大，应认为是同页的PPT内容，故不保存旧帧对应的PPT图片，且此时若新帧是视频的最后一帧时，保存新帧对应的PPT图片；

步骤S53：以视频的总帧数作为判断视频结束的约束条件，视频总帧数降低到0时证明本视频结束；每次在读取新帧之前将视频总帧数减去2秒所对应的帧数，若视频总帧数小于2秒所对应的帧数，直接将视频的最后一帧图像作为新帧，视频总帧数置为0。

2.根据权利要求1所述的一种基于结构及相似度的视频提取PPT方法，其特征在于：所述步骤S6具体包括以下步骤：

步骤S61：对图像的四周用黑色边框进行图片扩展，然后按顺序进行图像灰度化、高斯滤波、膨胀、Canny边缘检测、轮廓检测、多边形拟合，最后将拟合区域以外的图像进行裁剪，只保留拟合区域的图像；最后通过透视变换获得PPT图片；

步骤S62：比较相邻两张PPT图片对应时间序列的间隔与所设置的时间间隔阈值，若前后两张PPT图片对应时间序列的间隔小于时间间隔阈值，那么将相邻两张PPT图片中的后一张去除，只保留前一张PPT图片；以此规则按顺序检查所有相邻PPT图片的时间序列间隔，完成异常PPT图片的排除，同时把时间序列加入图片中，所有提取结果以一个PDF文件形式保存。