[发明专利]一种基于机器学习的内容自适应视频编码方法

说明书

本发明公开了一种基于机器学习的内容自适应视频编码方法。它具体包括如下步骤：(1)构建数据集：选取不同素材的高质量视频，并以场景为单位，提取有效信息；(2)训练模型：使用机器学习方法训练预测模型，采用多层全连接神经网络，根据用户设定参数生成网络模型；(3)实际分析预测：先将视频流缓冲一定帧数，并对缓冲视频帧提取复杂度信息，结合用户设定参数使用训练的网络模型，预测输出编码设定参数。本发明的有益效果是：可自适应决定编码参数，输出图像质量比较一致的视频流，具有较低计算复杂度，并能够方便地应用于现有的视频编码框架中。

技术领域

本发明涉及视频编码相关技术领域，尤其是指一种基于机器学习的内容自适应视频编码方法。

背景技术

对于目前的视频文件转码需求，为了能在带宽受限和控制成本条件下提供更好的视频观看体验，OTT分发平台一般会根据通用编码配置表(或称为编码阶梯表)，或者自定义配置模板，对每个源视频编码产生多个分辨率和码率组合的版本，然后根据用户带宽和播放终端选择合适的版本。这样的编码配置表只考虑了网络状况和终端播放器限制，而没有考虑视频特性。不同类别的视频，内容复杂度差别会很大。例如体育赛事等较高复杂度的视频，编码配置的码率可能偏低；而对于动画片等低复杂度的视频，编码配置的码率可能偏高，造成带宽浪费。这种方式最直接的结果就是用户终端看到的视频质量不一致。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种视频质量较为一致的基于机器学习的内容自适应视频编码方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于机器学习的内容自适应视频编码方法，具体包括如下步骤：

(1)构建数据集：选取不同素材的高质量视频，并以场景为单位，提取有效信息；

(2)训练模型：使用机器学习方法训练预测模型，采用多层全连接神经网络，根据用户设定参数生成网络模型；

(3)实际分析预测：先将视频流缓冲一定帧数，并对缓冲视频帧提取复杂度信息，结合用户设定参数使用训练的网络模型，预测输出编码设定参数。

本方法由分析器和预测器两个核心组成，其中分析器用于决定编码帧型、统计每帧的图像信息(包括分辨率、I/P/B帧型、复杂度信息等)；预测器根据场景信息和编码统计信息，结合用户设定参数，使用预先训练好的网络模型，进而输出实际编码参数；用户只需要设定所需的分辨率和所要求的图像质量级别，本方法即可自适应决定编码参数，输出图像质量比较一致的视频流。本方法采用恒定码率因子方法(CRF，Constant Rate Factor)，并用户自定义参数，基于机器学习方法来决定编码参数，具有较低计算复杂度，并能够方便地应用于现有的视频编码框架中。

作为优选，在步骤(1)中，构建数据集的具体操作方法如下：

(11)根据实际应用场景，筛选高质量的素材，并将素材按场景划分为编码单元；

(12)按照固定编码参数模板，对每个场景按照三种分辨率，每种分辨率按照CRF值从12到40，步长为1的设定进行编码，统计得到每种情况下的复杂度信息、质量分数、码率，并记录相应编码参数为分辨率、帧率、CRF值，其中：质量分数采用VMAF，复杂度信息是指I/P/B帧对应的SATD平均值；

(13)由于VMAF计算质量分数时对分辨率不敏感，需要对其进行修正。

作为优选，在步骤(13)中，修正方法如下：对CRF值小于29的样点，计算质量分数时在CRF＝29时的质量分数基础时进行缩小，即乘以一个0到1的系数α，VMAF质量分数为Score，修正后为Score’，修正公式为：

Score’＝Score[CRF＝29]+(Score-Score[CRF＝29])*α。