[发明专利]一种基于内容预测的深度学习视频解码方法和装置

权利要求书

1.一种基于内容预测的深度学习视频解码装置，其特征在于，所述装置包括视频控制单元、视频解码单元、帧缓存单元、卷积神经网络电路、预设内容判定单元、提示信息添加单元、跳帧存储单元、显示控制单元和显示单元；所述帧缓存单元包括当前帧缓存单元和预判帧缓存单元；所述视频控制单元和视频解码单元连接，所述视频解码单元分别与当前帧缓存单元、预判帧缓存单元连接，所述当前帧缓存单元与显示控制单元连接，所述显示控制单元和显示单元连接；所述预判帧缓存单元与卷积神经网络电路连接，所述卷积神经网络电路与预设内容判定单元连接，所述预设内容判定单元分别与视频控制单元、提示信息添加单元、跳帧存储单元连接，所述提示信息添加单元与当前帧缓存单元连接；

所述视频控制单元用于接收视频流信息，所述视频流信息包括多帧图像信息，所述多帧图像信息包括当前帧信息和第一预判帧信息，所述第一预判帧信息为当前帧信息对应的下一关键帧信息；

所述视频解码单元用于对当前帧信息进行解析，将解析后的当前帧信息存储至当前帧缓存单元中，以及对第一预判帧信息进行解析，将解析后的第一预判帧信息存储至预判帧缓存单元中；

所述卷积神经网络电路用于获取预判帧缓存单元中的第一预判帧信息，判断第一预判帧信息与预设内容是否匹配；若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元，以及用于发送第二控制信号至视频控制单元；所述预设内容为设定的需要进行跳帧的图像信息；

所述视频控制单元用于接收第二控制信号，将第二预判帧信息发送至视频解码单元进行解析，视频解码单元用于将解析后的第二预判帧信息存储至预判帧缓存单元中；所述第二预判帧信息为第一预判帧信息对应的下一关键帧信息；

所述卷积神经网络电路用于获取预判帧缓存单元中的第二预判帧信息，判断第二预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元，以及用于再次发送第二控制信号至视频控制单元；重复上述步骤，直至卷积神经网络电路判定预判帧缓存单元中的预判帧信息与预设内容不匹配，记录此时预判帧缓存单元中的预判帧信息对应的时间戳；所述预设内容判定单元用于将当前预判帧缓存单元中的预判帧信息对应的时间戳信息、以及该时间戳与首次被判定为与预设内容匹配的预判帧信息的时间戳之间的所有帧信息存储至跳帧存储单元中；

所述提示信息添加单元用于在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息，并将当前帧调整信息回写至当前帧缓存单元中；

所述显示控制单元用于获取当前帧调整信息并将其传输至显示单元进行显示，所述显示单元用于显示当前帧调整信息。

2.如权利要求1所述的基于内容预测的深度学习视频解码装置，其特征在于，所述卷积神经网络电路包括参数初始化单元、初始值存储单元、取数单元、参数存储单元、可重构网络矩阵单元、误差计算单元和反向传播回写单元；所述参数存储单元中存储有参数元素，所述参数元素包括卷积核、权值和卷积偏置值，所述取数单元包括权值取数单元、卷积核取数单元和卷积偏置取数单元；

卷积神经网络电路在获取预判帧缓存单元中的第一预判帧信息之前，还用于对预设内容进行神经网络训练；具体包括：

所述参数初始化单元用于从初始值存储单元中获取网络结构的各个参数初始值，根据各个参数的初始值控制取数单元从参数存储单元中获取相应数量的各个参数元素，对可重构网络矩阵单元进行配置；

所述可重构网络矩阵单元用于根据配置的各个参数元素的初始值进行神经网络计算，所述误差计算单元用于判断本次计算结果与真实信息的匹配度是否大于预设匹配度；若是则判定为训练完成，反向传播回写单元用于将各个参数元素的参数值更新为当前的各个参数值，并将更新后的各个参数值写入参数存储单元中；否则可重构网络矩阵单元用于根据本次训练结果的匹配度与上一次训练结果的匹配度的差异，调整各个参数元素的配置参数值，并通过反向传播回写单元将调整后的参数值写入参数存储单元中，以及控制取数单元根据调整后的参数值从获取相应数量的各个参数元素，并再次进行神经网络计算，直至训练完成；

所述真实信息是指输入至可重构网络矩阵单元的特征信息，即预设内容信息。