[发明专利]一种基于内容预测的深度学习视频解码方法和装置有效
申请号: | 201810048036.5 | 申请日: | 2018-01-18 |
公开(公告)号: | CN108289248B | 公开(公告)日: | 2020-05-15 |
发明(设计)人: | 廖裕民;罗玉明 | 申请(专利权)人: | 福州瑞芯微电子股份有限公司 |
主分类号: | H04N21/4402 | 分类号: | H04N21/4402;H04N21/488;H04N21/8547;H04N19/42;G06N3/04;G06N3/08 |
代理公司: | 福州市景弘专利代理事务所(普通合伙) 35219 | 代理人: | 林祥翔;徐剑兵 |
地址: | 350003 福建省*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 内容 预测 深度 学习 视频 解码 方法 装置 | ||
本发明提供了一种基于内容预测的深度学习视频解码方法和装置,所述方法在接收到视频流信息后,一边将解析出的当前帧信息发送至显示屏进行显示,另一边解析当前帧信息对应的下一关键帧信息作为预判帧信息,并将预判帧信息送往卷积神经网络电路进行识别判断,当检测到预判帧信息与预设内容匹配时,一方面对当前帧信息添加提示信息;另一方面继续提取出下一预判帧信息并将其与预设内容进行匹配,如此循环,直至送往送往卷积神经网络电路进行识别判断的预判帧信息不再与预设内容匹配,此时就可以根据当前预判帧的时间戳和其与当前帧时间戳的差值,确定需要跳帧的片段。上述方案可以对视频播放内容提前进行预测判断,有效满足了用户需求。
技术领域
本发明涉及计算机领域,特别涉及一种基于内容预测的深度学习视频解码方法和装置。
背景技术
目前,视频流数据在播放时,都是由视频解码芯片解码后直接送往显示器进行播放,对于视频内容的检测并没有一种很好的检测机制,这就导致当视频内容存在着一些不堪入目(如色情或暴力)的画面时,现有方法无法很好地进行及时预警,尤其是在观众中有未成年人时,这些画面一旦播放,将会影响到他们的身心健康,给他们幼小的心灵留下童年阴影。
发明内容
为此,需要提供一种基于内容预测的深度学习视频解码的技术方案,导解决现有方法由于无法对视频内容进行提前检测预判,导致无法避免未成年人接触视频中的色情或暴力等内容的问题。
为实现上述目的,发明人提供了一种基于内容预测的深度学习视频解码装置,所述装置包括视频控制单元、视频解码单元、帧缓存单元、卷积神经网络电路、预设内容判定单元、提示信息添加单元、跳帧存储单元、显示控制单元和显示单元;所述帧缓存单元包括当前帧缓存单元和预判帧缓存单元;所述视频控制单元和视频解码单元连接,所述视频解码单元分别与当前帧缓存单元、预判帧缓存单元连接,所述当前帧缓存单元与显示控制单元连接,所述显示控制单元和显示单元连接;所述预判帧缓存单元与卷积神经网络电路连接,所述卷积神经网络电路与预设内容判定单元连接,所述预设内容判定单元分别与视频控制单元、提示信息添加单元、跳帧存储单元连接,所述提示信息添加单元与当前帧缓存单元连接;
所述视频控制单元用于接收视频流信息,所述视频流信息包括多帧图像信息,所述多帧图像信息包括当前帧信息和第一预判帧信息,所述第一预判帧信息为当前帧信息对应的下一关键帧信息;
所述视频解码单元用于对当前帧信息进行解析,将解析后的当前帧信息存储至当前帧缓存单元中,以及对第一预判帧信息进行解析,将解析后的第一预判帧信息存储至预判帧缓存单元中;
所述卷积神经网络电路用于获取预判帧缓存单元中的第一预判帧信息,判断第一预判帧信息与预设内容是否匹配,若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元,以及用于发送第二控制信号至视频控制单元;
所述视频控制单元用于接收第二控制信号,将第二预判帧信息发送至视频解码单元进行解析,视频解码单元用于将解析后的第二预判帧信息存储至预判帧缓存单元中;所述第二预判帧信息为第一预判帧信息对应的下一关键帧信息;
所述卷积神经网络电路用于获取预判帧缓存单元中的第二预判帧信息,判断第二预判帧信息与预设内容是否匹配,若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元,以及用于再次发送第二控制信号至视频控制单元;重复上述步骤,直至卷积神经网络电路判定预判帧缓存单元中的预判帧信息与预设内容不匹配,记录此时预判帧缓存单元中的预判帧信息对应的时间戳;所述预设内容判定单元用于将当前预判帧缓存单元中的预判帧信息对应的时间戳信息、以及该时间戳与首次被判定为与预设内容匹配的预判帧信息的时间戳之间的所有帧信息存储至跳帧存储单元中;
所述提示信息添加单元用于在接收到第一控制信号,获取当前帧缓存单元中的当前帧信息,对当前帧信息添加提示信息,得到当前帧调整信息,并将当前帧调整信息回写至当前帧缓存单元中;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福州瑞芯微电子股份有限公司,未经福州瑞芯微电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810048036.5/2.html,转载请声明来源钻瓜专利网。
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法