[发明专利]一种基于多任务深度学习的视频传输质量评价方法

权利要求书

1.一种基于多任务深度学习的视频传输质量评价方法，其特征在于，所述方法包括：

A 构建多任务深度学习网络；所述多任务深度学习网络包括目标识别任务、图像分类任务与图像质量评价任务；

B 对所述网络进行训练：利用目标识别任务识别发送端和接收端视频帧中的频标并校验，根据频标检测出传输时延与卡顿指标；

利用目标识别任务定位接收端视频帧，并用图像分类任务检测传输画面失真类型，用图像质量评价任务检测传输画面质量分数；

C基于训练好的多任务深度学习网络得到待评价视频的视频传输时延与卡顿指标，并在有传输时延的情况下检测传输画面失真类型与传输画面质量分数；

所述步骤A中，目标识别任务、图像分类任务与图像质量评价任务为深度学习网络包含的3个任务，其中图像分类任务与图像质量评价任务使用孪生神经网络；所述3个任务的骨干网络均为ResNet，图像分类任务与图像质量评价任务的共享层采用硬参数共享，目标识别任务与图像分类任务和图像质量评价任务的共享层采用软参数共享，所述骨干网络为3个任务的共享层；

所述步骤B中，频标包含序列号和校验号，序列号用来定位视频帧，校验号用来校验识别是否出错，通过目标识别任务识别出发送端与接收端视频帧中的频标的序列号，根据两者差值除以视频帧率，即可算出传输时延；通过检测接收端视频帧中同一序列号的维持时间并与阈值对比，即可判断有无卡顿及卡顿时长。

2.如权利要求1所述的基于多任务深度学习的视频传输质量评价方法，其特征在于，所述目标识别任务的骨干网络包括浅层特征提取网络结构和深层特征提取网络结构，其中，所述浅层特征提取网络结构提取浅层特征，输出特征图为F₀，通道数为256；后续的所述深层特征提取网络结构由5个单元组成，每个单元先后包含两个卷积层：其中一个卷积层有128个步长为1的1×1×256卷积核、另一个卷积层有256个步长为2的3×3×128卷积核；每个单元输出特征图为F_i，其中i=1, 2, 3, 4, 5；在F_i上使用特征金字塔网络（FPN），结合anchor机制实现对不同尺度目标的识别。

3.如权利要求1所述的基于多任务深度学习的视频传输质量评价方法，其特征在于，所述图像质量评价任务，基于接收端视频帧与其对应的参考图像进行全参考图像质量评价，所述图像分类任务与图像质量评价任务的共享层采用孪生神经网络，所述孪生神经网络输入分别为参考图像和接收端视频帧，记所述图像分类任务与图像质量评价任务的骨干网络输出特征图分别为F_ref和F_dis，将特征图F_ref和F_dis融合为F_fus。

4.如权利要求3所述的基于多任务深度学习的视频传输质量评价方法，其特征在于，所述图像分类任务通过孪生神经网络提取到融合特征F_fus，通道数为512，在所述孪生神经网络之后还包含两个卷积层和两个全连接层：所述两个卷积层即 256个步长为1的1×1×512卷积核和512个步长为2的3×3×256卷积核，所述两个全连接层即尺寸分别为1024与n_cls，n_cls为图像分类任务涉及的传输画面失真类型的数量，经过Softmax激活函数得到每个传输画面失真类型的概率，对概率向量使用argmax函数得到传输画面失真类型。