[发明专利]基于Faster R-CNN模型的视频内容物智能植入的方法

摘要

基于Faster R‑CNN模型的视频内容物智能植入的方法，包括：解帧得到视频声音文件、视频帧图像和植入内容物帧图像；检测识别每个视频帧中包含的内容物，并对视频帧文件进行镜头切分；对每个镜头选择内容物体作为内容物植入区域；精确定位内容物植入区域的顶点并追踪其移动，确定单个镜头中每一帧图像中内容物植入区域的位置；对镜头中内容物植入区域进行遮挡检测，若存在遮挡，则对运动前景自动精确分割；将植入内容物插入视频帧中内容物植入区域的位置，若上一步骤中得到了运动前景，将运动前景也补回视频帧；将上一步骤中得到的视频帧与前述得到的视频声音文件合成，得到植入内容物素材后的视频。本发明能极大提升内容物植入视频的效率。

主权项

1.一种基于Faster R-CNN模型的视频内容物智能植入的方法，其特征在于，包括步骤如下：/n步骤1，对视频样本和待植入内容物样本进行解帧，得到视频声音文件、视频帧图像及植入内容物帧图像；/n步骤2，检测识别每个视频帧中包含的内容物体，并对视频帧文件进行镜头切分，得到视频包含的若干个镜头，以及每个镜头包含的内容物体；/n步骤3，对每个镜头，选取矩形块作为可植入内容物的背景物，将该背景物作为内容物植入区域，得到确定作为内容物植入区域的内容物体；/n步骤4，精确定位内容物植入区域的顶点，作为内容物植入区域位置的初始值，再追踪内容物植入区域顶点在下一图像帧中相对于前一帧的移动，得到每一帧图像中内容物植入区域的精确位置；/n步骤5，对镜头中内容物植入区域进行遮挡检测，若存在遮挡，则对运动前景进行精确分割，得到精确分割后的运动前景；/n步骤6，将植入内容物帧图像植入视频帧中内容物植入区域的位置，若步骤5中得到了运动前景，将运动前景也补回视频帧，得到植入内容物帧图像后的视频帧图像；/n步骤7，对每个镜头都进行步骤3～6的操作，将所有植入内容物帧图像后的视频帧与步骤1得到的视频声音文件合成，得到植入内容物样本后的视频。/n