[发明专利]一种基于机器学习的视频处理方法

说明书

本发明公开了一种基于机器学习的视频处理方法。它包括筛选数据和提取特征形成数据集、训练生成预测模型、视频处理三个部分，具体包括如下步骤：(1)构建数据集时，首先通过一定规则对视频序列筛选样本点，尽可能去除视频内容空间冗余和时间冗余，最终每帧图像都提取一定比例的像素点作为样本形成数据集；(2)训练生成预测模型时，采用简单的多层全连接神经网络，保证预测精度的同时运算复杂度较低；(3)视频处理时，使用训练好的预测模型对输入图像进行处理，然后再进行去块效应滤波和样点自适应补偿滤波。本发明的有益效果是：简化处理流程，运算复杂度低；适应大多数不同风格的视频，呈现很好的图像美感和保真度。

技术领域

本发明涉及视频图像处理相关技术领域，尤其是指一种基于机器学习的视频处理方法。

背景技术

高动态范围(High Dynamic Range，以下简称HDR)视频，相对于标准动态范围(Standard Dynamic Range，以下简称SDR)视频，图像的明暗层次更清晰，图像细节更丰富，能够更逼真的重现真实场景。随着HDR技术的发展以及HDR显示器的逐步普及，对HDR视频的需求逐步增加。真正的HDR视频制作需要在采集端使用高动态范围的成像器件，制作时也要使用支持HDR非编软件，也就是说HDR视频的内容制作对拍摄设备和前处理技术都有很高的要求，因此目前市场上的HDR内容仍处于相对匮乏的状态。另一方面，市场上有比较充足的制作精良的高清/超高清SDR片源。如何将这些SDR内容转换成高质量HDR格式视频，具有比较重要的现实意义。

目前大部分的研究集中在SDR图像和HDR图像的相互转换，色调映射(ToneMapping)和逆色调映射(Inverse Tone Mapping)是SDR图像和HDR图像之间相互转换的关键技术。SDR视频向HDR视频转换处理，一般会涉及到YUV到RGB域的颜色空间转换、光电/电光曲线转换、色调映射、色域映射等操作，并且通常会加入一些传统的图像处理算法，每个算法实现不同的功能，如亮度增强算法、对比度增强算法、饱和度增强算法等。在HDR图像处理中如果同时应用这些算法，复杂度会很高不利于实际应用。另外，不同的视频内容制作者一般会通过调节不同的亮度、对比度、饱和度等方法来表达其影片的创作意图。考虑到亮度、对比度和饱和度之间会互相影响造成人眼主观感受不同，所以对于不同的素材如何组合这些算法也是个难题。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种简化处理流程的基于机器学习的视频处理方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于机器学习的视频处理方法，包括筛选数据和提取特征形成数据集、训练生成预测模型、视频处理三个部分，具体包括如下步骤：

(1)构建数据集时，首先通过一定规则对视频序列筛选样本点，尽可能去除视频内容空间冗余和时间冗余，使得得到的数据集在规模不大的情况下覆盖尽可能多的数据特征，既考虑场景内整体的亮度和对比度，又考虑每个图像帧和16x16宏块的亮度和对比度，最终每帧图像都提取一定比例的像素点作为样本形成数据集；

(2)训练生成预测模型时，采用简单的多层全连接神经网络，保证预测精度的同时运算复杂度较低；

(3)视频处理时，使用训练好的预测模型对输入图像进行处理，然后再进行去块效应滤波和样点自适应补偿滤波。

本发明基于机器学习的方法，通过一定规则筛选数据集，提取有效的数据特征，训练生成预测模型，并对处理后的图像进行去块效应滤波和样点自适应补偿滤波操作，使得最终输出的HDR图像能呈现很好的美感和保真度。本发明旨在提出一种基于机器学习的SDR视频向HDR视频转换的方法，有如下优势：简化处理流程，运算复杂度低，能够由输入的SDR图像通过网络模型直接预测得到HDR图像；网络模型考虑了视频中的场景、图像帧、宏块的亮度和色度特征，能够适应大多数不同风格的视频，使得转换得到的视频能呈现很好的图像美感和保真度。