[发明专利]一种基于深度神经网络的会议视频重建方法和系统

权利要求书

1.一种基于深度神经网络的会议视频重建方法，其特征在于，所述方法的具体步骤包括：

1)识别会议视频帧中的感兴趣区域和非感兴趣区域，并为所述感兴趣区域和所述非感兴趣区域分配相对应的传输比特率；

2)利用深度神经网络将所述感兴趣区域中的运动信息编码为关键点位移；

3)将关键点位移编码信息和非感兴趣区域的编码信息分别按照预分配的比特率传输给视频解码器；

4)所述视频解码器对关联当前帧的所述关键点位移编码信息进行解码，并以解码信息扭曲初始帧F0中的对应关键点得到当前帧的重建帧；

5)将各所述重建帧按时间轴融合，得到重建后的会议视频。

2.根据权利要求1所述的一种基于深度神经网络的会议视频重建方法，其特征在于，所述步骤2)中，将所述感兴趣区域中的运动信息以熵编码方式编码为关键点位移。

3.根据权利要求1所述的一种基于深度神经网络的会议视频重建方法，其特征在于，视频帧中的关键点通过预先训练的U-Net神经网络预测而得。

4.根据权利要求1所述的一种基于深度神经网络的会议视频重建方法，其特征在于，步骤4)中，生成所述重建帧的方法步骤具体包括：

4.1)对初始帧的编码信息进行解码，得到重建后的初始帧F0以及所述初始帧F0上的若干个关键点K0，并对当前帧的关键点位移编码信息进行解码；

4.2)以解码到的当前帧的关键点位移去扭曲所述初始帧F0上对应的每个所述关键点K0，得到当前帧的重建帧Ft。

5.根据权利要求1所述的一种基于深度神经网络的会议视频重建方法，其特征在于，作为视频帧重建参考帧的所述初始帧为会议视频的首帧图像或重建的当前重建帧Ft的上一重建帧F_t-1。

6.根据权利要求1所述的一种基于深度神经网络的会议视频重建方法，其特征在于，采用BPG格式编解码器对所述初始帧进行视频编解码。

7.一种基于深度神经网络的会议视频重建系统，其特征在于，所述系统包括：

区域识别模块，用于自动识别会议视频帧中的感兴趣区域和非感兴趣区域；

比特率分配模块，用于为所述感兴趣区域和所述非感兴趣区域的内容传输分配对应的比特率；

编码模块，用于将所述感兴趣区域中的运动信息编码为关键点位移，并将所述非感兴趣区域中的视频内容编码为对应的编码信息；

视频传输模块，连接所述比特率分配模块和所述编码模块，用于将所述关键点位移编码信息和所述非感兴趣区域的编码信息分别按照预分配的比特率传输给视频解码模块；

所述解码模块，连接所述视频传输模块，用于对所述关键点位移编码信息进行解码；

视频重建模块，连接所述解码模块，用于以解码得到的关键点位移扭曲初始帧F0中的每个对应关键点，得到当前帧的重建帧，并按时间轴融合各所述重建帧，得到重建后的会议视频。

8.根据权利要求7所述的一种基于深度神经网络的会议视频重建系统，其特征在于，所述编码模块中包括：

初始帧编码单元，用于对作为视频帧重建的参考帧的所述初始帧进行编码；

熵编码单元，用于将每一视频帧中的所述感兴趣区域中的运动信息以熵编码方式编码为关键点位移。

9.根据权利要求7所述的一种基于深度神经网络的会议视频重建系统，其特征在于，所述解码模块中具体包括：

初始帧解码单元，用于对所述初始帧的编码信息进行解码，得到重建后的初始帧F0以及所述初始帧F0上的若干个关键点K0；

关键点解码单元，用于对当前帧的所述关键点位移编码信息进行解码；

所述视频重建模块中具体包括：

关键点扭曲单元，用于以解码到的当前帧的关键点位移去扭曲所述初始帧F0上对应的每个关键点K0，得到当前帧的重建帧Ft；

重建帧融合单元，连接关键点扭曲单元，用于按时间轴融合各所述重建帧Ft，得到重建后的会议视频。

10.根据权利要求8所述的一种基于深度神经网络的会议视频重建系统，其特征在于，作为视频帧重建的参考帧的所述初始帧为会议视频的首帧图像或当前帧的重建帧Ft的上一重建帧F_t-1。