[发明专利]一种数据处理方法、系统及计算机可读存储介质有效
申请号: | 201810568783.1 | 申请日: | 2018-06-05 |
公开(公告)号: | CN108776833B | 公开(公告)日: | 2021-08-31 |
发明(设计)人: | 董刚;赵雅倩;程云;刘栩辰 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 系统 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,基于FPGA板卡和CPU构成的异构计算平台,包括:
根据所述CPU发送数据处理模式指令,利用预先构建的、相应数据处理模式下的多路CNN网络结构对待分析数据进行处理;
根据所述数据处理模式和各路CNN网络结构的运行计算结果,得到所述待分析数据的处理结果;
其中,多路CNN网络结构并行运行在所述FPGA板卡上,多路CNN网络结构为预先根据用户输入的配置参数进行构建,并与所述数据处理模式一一对应;各路CNN网络结构在计算过程中没有数据交互;
所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式,和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式,子段数据的个数和CNN网络结构的路数相同,且各子段数据拼接为完整的所述待分析数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理模式为目标识别模式,所述根据所述数据处理模式和各路CNN网络结构的运行计算结果,得到所述待分析数据的处理结果包括:
获取各路CNN网络结构运行所述待分析数据的识别结果;
从各识别结果选择满足预设识别条件的目标识别结果,并将所述目标识别结果发送至所述CPU,以作为所述待分析数据的识别结果;
其中,各路CNN网络结构为预先利用不同样本数据训练所得。
3.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理模式为数据并行处理模式,所述根据所述数据处理模式和各路CNN网络结构的运行计算结果,得到所述待分析数据的处理结果包括:
存储各路CNN网络结构运行相应子段数据的计算结果,并作为所述待分析数据的处理结果;
其中,各子段数据的占用空间容量值相等,且各路CNN网络结构分别将各自运行的计算结果直接发送至所述CPU。
4.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理模式指令为所述CPU根据用户选择的数据处理模式生成。
5.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理模式指令为所述CPU根据所述待分析数据的占用空间容量值与预设容量阈值的比较结果生成,当所述待分析数据的占用空间容量值大于预设容量阈值,则发送目标识别模式;当所述待分析数据的占用空间容量值不大于预设容量阈值,则发送数据并行处理模式。
6.根据权利要求1至5任意一项所述的数据处理方法,其特征在于,各路CNN网络结构复用所述FPGA板卡上的数据存取模块。
7.根据权利要求6所述的数据处理方法,其特征在于,所述CNN网络结构为AlexNet网络。
8.一种数据处理方法,其特征在于,基于FPGA板卡和CPU构成的异构计算平台,包括:
根据待分析数据确定数据处理模式,并生成数据处理模式指令发送至所述FPGA板卡,以使所述FPGA板卡根据所述数据处理模式指令,利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理;
当多路CNN网络结构运行结束时,从所述FPGA板卡的DDR的缓存中读取处理结果;
其中,多路CNN网络结构并行运行在所述FPGA板卡上,多路CNN网络结构为预先根据用户输入的配置参数进行构建,并与所述数据处理模式一一对应;各路CNN网络结构在计算过程中没有数据交互;
所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式,和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式,子段数据的个数和CNN网络结构的路数相同,且各子段数据拼接为完整的所述待分析数据。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求8所述数据处理方法的步骤。
10.一种数据处理系统,其特征在于,包括CPU和FPGA板卡;
所述CPU用于对各路CNN网络结构参数进行初始化、各路CNN网络结构进行数据处理模式配置、配置向各路CNN网络结构传递命令和数据的上下文,与所述FPGA板卡进行数据传输及各路CNN网络结构的并行调度;
所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式,和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式,子段数据的个数和CNN网络结构的路数相同,且各子段数据拼接为完整的所述待分析数据;
所述FPGA板卡用于根据所述CPU发送数据处理模式指令,利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理;根据所述数据处理模式和各路CNN网络结构的运行计算结果,得到所述待分析数据的处理结果;
其中,多路CNN网络结构并行运行在所述FPGA板卡上,多路网络结构为预先根据用户输入的配置参数进行构建,并与所述数据处理模式一一对应;各路CNN网络结构在计算过程中没有数据交互。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810568783.1/1.html,转载请声明来源钻瓜专利网。