[发明专利]一种视频去噪方法、装置、存储介质和电子装置

说明书

本发明公开了一种视频去噪方法、装置、系统和存储介质。其中，该方法包括：将带噪图像帧序列依次输入训练好的去噪模型；通过去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；通过去噪模型的特征暂存模块更新图像特征，获取当前接收的带噪图像帧的目标图像特征；根据目标图像特征通过去噪模型的去噪模块进行去噪操作，获取与当前接收的带噪图像帧对应的实际去噪图像帧。本申请实施例进行去噪操作时，每帧待去噪图像所依据图像特征来于已接收的带噪图像帧，上述图像特征可以更好的保留原始图像的信息，进而降低了去噪视频图像帧的失真率。

技术领域

本文涉及视频去噪技术，尤指一种视频去噪方法、装置、存储介质和电子装置。

背景技术

视频在生成过程中，通常会混杂噪音，而噪音会损失引起视频质量下降。

为了提升视频质量，需要对视频去噪。目前采用的视频去噪方法跟图像去噪有相通之处，采用神经网络作为去噪方案。但是视频去噪跟图像去噪又有区别，主要体现在视频具有时域多帧信息，输入的信息更多，帧间的连贯性要求也比图像去噪更高。连续的视频帧输入也同样意味着，对视频的处理过程伴随着性能要求和功耗要求，对视频去噪算法提出了更高的实时性要求。

针对如何兼顾视频去噪质量和实时性的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种视频去噪方法、装置、存储介质和电子装置，能够降低去噪后视频图像的失真率。

根据本发明实施例的一个方面，提供了一种视频去噪方法，上述方法包括：

将带噪图像帧序列依次输入训练好的去噪模型；通过所述去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；通过所述去噪模型的特征暂存模块更新所述图像特征，获取所述当前接收的带噪图像帧的目标图像特征；根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作，获取与所述当前接收的带噪图像帧对应的实际去噪图像帧。

可选的，通过所述去噪模型的特征暂存模块更新所述图像特征，获取目标图像特征，包括：提取所述特征暂存模块中缓存的暂存特征；基于注意力机制根据所述暂存特征和所述图像特征获得所述目标图像特征。

可选的，所述根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作之前，所述方法还包括：对所述目标图像特征进行特征精炼处理，将处理后的所述目标图像特征作为所述特征暂存模块中缓存的所述暂存特征。

可选的，所述基于注意力机制根据所述暂存特征和所述图像特征获得所述目标图像特征，包括：将所述暂存特征和所述图像特征进行特征融合，获得第一融合特征；通过第一权重和所述暂存特征进行点乘提取目标暂存特征，其中，所述第一权重通过所述第一融合特征经过激活函数映射后获取；将所述目标暂存特征和所述图像特征进行特征融合，获得所述目标图像特征。

可选的，构建所述去噪模型的过程，包括：通过获取的样本数据构建自适应训练数据集；将所述自适应训练数据集每一帧依次输入待训练去噪模型；通过计算预设的损失目标对所述待训练去噪模型进行参数调整直至所述待训练去噪模型满足预设的收敛条件。

可选的，通过获取的样本数据构建自适应训练数据集，包括：分别获取多类样本数据，其中，每类样本数据包括带噪图像样本序列，以及与所述带噪图像样本序列中每一带噪图像帧对应的目标去噪图像样本帧；将所述多类样本数据按比例组合构建所述自适应训练数据集。

可选的，获取每个所述样本数据的方式，包括：将通过外部设备采集的图像作为所述带噪图像样本序列，将所述带噪图像样本序列中的一帧作为目标带噪图像样本帧，将所述目标带噪图像样本帧及其之前的图像样本帧组成目标带噪图像样本组；通过已训练好的图像去噪模型对目标带噪图像样本组完成去噪操作，获取所述目标带噪图像样本帧对应的目标去噪图像帧；将所述带噪图像样本序列中的每帧作为所述目标带噪图像样本帧确定对应的目标去噪图像样本帧。