[发明专利]基于深度神经网络的视频序列丢失帧预测恢复方法在审
| 申请号： | 201810027925.3 | 申请日： | 2018-01-11 |
| 公开（公告）号： | CN108184128A | 公开（公告）日： | 2018-06-19 |
| 发明（设计）人： | 李泽瑞;杨钰潇;杜晓冬;吕文君 | 申请（专利权）人： | 安徽优思天成智能科技有限公司 |
| 主分类号： | H04N19/65 | 分类号： | H04N19/65 |
| 代理公司： | 北京和信华成知识产权代理事务所(普通合伙) 11390 | 代理人： | 胡剑辉 |
| 地址： | 230000 安徽省合肥市高新区*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供的基于深度神经网络的视频序列丢失帧预测恢复方法，运用深度学习相关理论，利用深度卷积网络自动抽取图像特征以及LSTM长短时记忆网络对时间序列的记忆学习能力，用固定数量的视频帧图像数据作为训练样本训练该网络，进而进行视频序列中丢失帧的恢复预测，本发明极大程度上利用了视频帧图像的内在特征以及帧间图像的相似性与连贯性，提高了预测精度与效率，同时具有较强的泛化能力，具有一定的社会价值和现实意义。 | ||
| 搜索关键词： | 视频序列 丢失帧 视频帧图像 预测 神经网络 恢复 记忆网络 记忆学习 时间序列 图像特征 现实意义 训练样本 帧间图像 自动抽取 连贯性 卷积 网络 学习 | ||
【主权项】：
1.基于深度神经网络的视频序列丢失帧预测恢复方法，其特征在于，具体包括以下步骤：步骤S1，收集视频序列中预定数量的连续视频帧图像，构造数据集；步骤S2，构造基于卷积编码解码器的LSTM深度神经网络结构；步骤S3，根据步骤S1构造的数据集，构造基于LSTM的深度神经网络结构的训练数据集、验证数据集和测试数据集；步骤S4，将步骤S3中的训练数据集送入步骤S2中构造的基于卷积编码解码器的LSTM深度神经网络结构中，进行网络训练，然后采用步骤S3中的验证数据集和测试数据集对训练所得的参数进行调整，逐步提高预测精度；步骤S5，将经过步骤S4中网络训练、验证、测试后的基于卷积编码解码器的LSTM深度神经网络结构作为视频序列丢失帧的预测恢复模型，将位于丢失帧之前的视频帧图像，输入基于卷积编码解码器的LSTM深度神经网络中，经过模型对输入数据的自主学习，最终可得到该丢失帧的预测恢复图像。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽优思天成智能科技有限公司，未经安徽优思天成智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810027925.3/，转载请声明来源钻瓜专利网。
- 同类专利
- 图像处理方法与设备-201680003470.0
- 朱磊;龚明;马宁;范伟;崔浩 - 深圳市大疆创新科技有限公司
- 2016-12-30 - 2019-05-14 - H04N19/65
- 提供了一种图像处理方法与设备。所述图像处理方法包括：接收接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述发送端发送的图像帧的接收状态；获取第一图像帧；当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据；向所述接收端发送所述第一图像帧的编码数据，可以提高信道利用率。
- 一种时空域相结合的自适应错误隐藏修复方法及系统-201610585131.X
- 叶锋;许力;李承欣;林晖;陈家祯;郑子华;洪斯婷;李婉茹 - 福建师范大学
- 2016-07-22 - 2019-04-02 - H04N19/65
- 本发明涉及视频修复技术领域，尤其涉及一种时空域相结合的自适应错误隐藏修复方法及系统。所述时空域相结合的自适应错误隐藏修复方法包括获取已解码的图像信息；确定所述图像信息中待修复的帧；若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。在空域修复中，根据帧内编码模式以及分析接收块的位置信息来判断使用合适的算法来修复丢失的宏块信息。其中改进的方向插值算法先对丢失宏块进行区域划分，使用基于5×5大小的8方向Sobel算子对丢失宏块周边像素计算插值方向，选出符合纹理以及边界方向的地方进行插值计算，提高了修复的精确度。
- 数据传输设备-201810503128.8
- 朱辉;邵熙隆 - 上海昊擎信息技术工程有限公司
- 2018-05-23 - 2018-11-23 - H04N19/65
- 本发明实施例公开了一种数据传输设备，发送端和接收端；发送端包括：相互连接的编码模块和显示模块；其中，编码模块用于获取传输数据，根据传输数据生成n帧原始数据帧和m帧帧间纠错数据帧，其中，n和m均为大于1的自然数，根据n帧原始数据帧和m帧帧间纠错数据帧生成n+m帧帧内纠错图像；显示模块用于显示n+m帧帧内纠错图像；接收端包括：相互连接的解码模块和图像采集模块；其中，图像采集模块用于获取由显示模块显示的多帧帧内纠错图像；解码模块用于根据多帧帧内纠错图像还原得到编码模块获取的传输数据。本发明实施例提供的数据传输设备，具备物理隔离条件下的数据单向传输功能，并可以实现数据传输的可靠性及高速率。
- 用于简化视频随机访问的约束和单元类型的方法-201380031429.0
- G.J.萨利文;S.卡努穆里 - 微软技术许可有限责任公司
- 2013-04-16 - 2018-10-23 - H04N19/65
- 本文所公开的是对于具有完全随机访问（CRA）图片和/或其它类型的随机访问点（RAP）图片的比特流的创新。对于RAP图片类型的新的类型定义和策略约束可以简化基本视频流数据的单元到容器格式的映射。这样的创新可有助于改进视频编码系统的能力，以便更灵活地执行自适应视频递送、制作编辑、商业插入等等。
- 基于深度神经网络的视频序列丢失帧预测恢复方法-201810027925.3
- 李泽瑞;杨钰潇;杜晓冬;吕文君 - 安徽优思天成智能科技有限公司
- 2018-01-11 - 2018-06-19 - H04N19/65
- 本发明提供的基于深度神经网络的视频序列丢失帧预测恢复方法，运用深度学习相关理论，利用深度卷积网络自动抽取图像特征以及LSTM长短时记忆网络对时间序列的记忆学习能力，用固定数量的视频帧图像数据作为训练样本训练该网络，进而进行视频序列中丢失帧的恢复预测，本发明极大程度上利用了视频帧图像的内在特征以及帧间图像的相似性与连贯性，提高了预测精度与效率，同时具有较强的泛化能力，具有一定的社会价值和现实意义。
- 一种视频数据编码、解码的方法和装置-201410100869.3
- 瑟乔夫·马克西姆;宋锦 - 华为技术有限公司
- 2014-03-18 - 2018-03-13 - H04N19/65
- 本发明公开了一种视频数据编码、解码的方法和装置，涉及编码解码术领域，能够提高传输灵活性，增强了鲁棒性。本发明提供的编码方法包括确定待编码视频序列中的一待编码信息组；生成与所述待编码信息组对应的基本信息组，基本信息组包括第一数据信息，表示所述待编码信息组是基本信息组还是冗余信息组的指示信息和所述基本信息组的位置信息；生成与所述待编码信息组对应的冗余信息组，冗余信息组包含第二数据信息，所述冗余信息组的位置信息，表示所述待编码信息组是基本信息组还是冗余信息组的指示信息和所述冗余信息组与所述基本信息组的位置关系信息；将所述基本信息组和所述冗余信息组编入码流。
- 一种基于可逆数据隐藏的H.264/AVC视频I帧错误恢复方法-201410287578.X
- 王让定;李然然;徐达文;李倩;李伟;王家骥 - 宁波大学
- 2014-06-24 - 2017-12-15 - H04N19/65
- 本发明公开了一种基于可逆数据隐藏的H.264/AVC视频I帧错误恢复方法，其在编码端，先提取宏块的特征向量和确定宏块的宿主向量，然后将上一个宏块的特征向量嵌入到当前的宏块的宿主向量中；在解码端，从嵌有特征信息的I帧中的宏块中提取出特征信息，并确定宏块的编码模式和亮度预测模式，再对非正确解码块进行错误恢复；优点是在编码端，提取的宏块的特征信息由宏块的子块的亮度预测模式或由宏块的编码模式和亮度预测模式确定，能有效恢复存在场景变换时丢失的宏块，并在向宿主向量中嵌入特征向量时，根据上一个宏块的编码模式，采用广义差分扩展的方法进行嵌入，不仅使得嵌入容量可控，而且可以实现提取特征信息后，还原I帧嵌入特征信息前的原始数据。
- 一种基于字典库的视频编解码方法及装置-201410231054.9
- 王荣刚;赵洋;王振宇;高文;王文敏;董胜富;黄铁军;马思伟 - 北京大学深圳研究生院
- 2014-05-28 - 2017-08-29 - H04N19/65
- 一种基于字典库的视频编解码方法及装置，该编码方法包括将视频流中待编码的当前图像帧划分为若干图像块；采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息，以得到恢复编码失真信息后的图像，并将恢复编码失真信息后的图像作为参考图像进行时域预测，得到待编码块的预测块；纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典；将待编码块与预测块相减得到残差块，对残差块进行处理得到视频码流。本申请提供的编解码方法及装置采用纹理字典库的方式恢复作为对待编码块(待解码块)进行预测的参考图像的编码失真信息，使得待编码块(待解码块)的预测块更加准确，从而提高编解码效率。
- 一种提高图像数据传输速度的方法和系统-201710080715.6
- 阙祥泰 - 福建时迅信息科技有限公司
- 2017-02-15 - 2017-06-13 - H04N19/65
- 本发明涉及桌面虚拟化领域，特别涉及一种提高图像数据传输速度的方法，包括以下步骤；采集图像数据；压缩所述图像数据；编码经过压缩的图像数据；传输经过编码的图像数据至虚拟机；虚拟机解析经过编码的图像数据。在现有基于桌面云USB端口重定向方式使用高清图像设备的基础上，对客户端采集的高清图像数据进行压缩，使客户端将图像数据传输给虚拟机时暂时减少数据传输量，对压缩后的数据进行编码，形成不易受干扰并能够从传输错误中恢复的特定信号组织形式，从而提高传输的可靠性；虚拟机在接收客户端传输的图像数据后，将经过编码的图像数据解析为高清图像的图像数据输出；从而实现在不影响图像清晰度的同时，提高图像数据传输速度。
- 一种自适应阈值的视频流多纹理方向错误隐藏方法-201410100233.9
- 张小红;胡婷;钟小勇 - 江西理工大学
- 2014-03-18 - 2017-04-19 - H04N19/65
- 一种自适应阈值的视频流多纹理方向错误隐藏方法，其特征是基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块，能够更精确的提取出边缘信息及自适应的恢复丢失宏块，保证了恢复后视频图像的平滑性。本发明与H.264标准的错误隐藏算法相比，其视频图像隐藏效果在主观视觉判断和客观数值计算上都有一定的提高。
- 一种有效消除视频的乱码或方块的方法-201410150083.2
- 彭建华;邵山 - 南京第五十五所技术开发有限公司
- 2014-04-15 - 2017-04-12 - H04N19/65
- 一种有效消除视频的乱码或方块的方法，既要减少或消除视频图像的乱码或方块现象，又要保证图像的质量，在选取的dif_mv_v的编码比特数时，必须进行平衡考虑。本方法选取的水平方向运动矢量的差值的绝对值dif_mv_v的编码比特数按照对应的范围顺序分别为1、3、5、7、17、19、23、25、27、29、31、33、35、37、39。通过本方法单一背景下的视频图像的乱码或方块不仅能够被有效消除，同时也保留了非常好的视频图像效果。
- 视频信道中的错误检测和抑制-201580024856.5
- 裵映敦;梁又升;李周桓;崔薰 - 美国莱迪思半导体公司
- 2015-04-20 - 2017-02-22 - H04N19/65
- 本文描述了一种用于检测和抑制所传输的媒体中的比特错误的系统。源设备编码视频的帧，且生成表示视频的经编码的帧的一部分的错误码。经编码的帧的部分和错误码经由诸如HDMI或MHL3信道的通信信道提供给宿设备。第二错误码由宿设备基于经编码的帧的部分生成，并且比较错误码和第二错误码以确定经编码的帧的该部分是否包括错误。如果没有检测到错误，则对经编码的帧的该部分进行解码和输出。如果检测到错误，则基于经编码的帧的至少一个其他部分，用帧数据替换该部分以产生经抑制的帧，并输出经抑制的帧。
- 用于在串行视频接口中进行检错与纠错的正交数据组织-201580016112.9
- 李周桓;L·A·汤普森 - 美国莱迪思半导体公司
- 2015-03-30 - 2016-11-09 - H04N19/65
- 源设备接收包括未压缩视频数据以及其相关联的元数据的数字数据并且对所述视频数据进行压缩。所述源设备针对表示所述压缩视频数据以及其相关联的元数据的每个数据字生成错误码。所述数据字以及其相应的错误码被结合以形成码字。所述源设备将所述视频数据的码字以及其元数据组织为正交数据块并且将所述数据块传输给汇点设备。所述汇点设备基于对所述数据块中所述码字的所述错误码的分析来对所述接收的数据中的损坏数据位进行解码。将码字组织为正交数据块有助于对数据块中的损坏数据位进行隔离并且使得所述汇点设备能够对由单个传输错误所造成的损坏数据位进行检测和校正并且能够对由多个传输错误所造成的损坏数据位进行检测。
- 基于标量量化分割的视频多描述编码方法及系统-201510055956.6
- 蔡旻;雷岩;欧扬;李实 - 苏州科技学院
- 2015-02-03 - 2015-05-06 - H04N19/65
- 本发明揭示了一种基于标量量化分割的视频多描述编码方法，包括：编码端将图像信号依次经DCT变换和量化后，选取部分量化后的DCT系数进行映射分解，将一路视频信号分解为两路码流；解码端通过反映射算法对收到的任意单路码流独立解码，或对两路码流联合解码，得到原始图像。本发明还对应揭示了一种基于标量量化分割的视频多描述编码系统，包括编码端和解码端，编码端包括DCT变换模块、量化模块和映射模块，解码端包括反映射模块、反量化模块和反DCT变换模块。本发明简单直观，但不失数学意义上的严谨，因此在编码效率和编码复杂度上比较出色，在丢包复原能力和主观效果上也能符合要求，具有一定的实际应用价值。
- 专利分类
