[发明专利]数据处理方法、装置、电子设备和存储介质有效
申请号: | 201911159697.6 | 申请日: | 2019-11-22 |
公开(公告)号: | CN110955390B | 公开(公告)日: | 2023-08-08 |
发明(设计)人: | 钟辉;黄亮;江子豪;蔡云飞;贾宜彬;刘凌志;马宁宁;刘理;杨超;姜春阳;吴俊;衣敏;白晓航;包能辉 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 华进联合专利商标代理有限公司 44224 | 代理人: | 冯右明 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
本公开关于一种数据处理方法、装置和电子设备,上述方法包括:若检测到数据缓存区存储有服务器主机写入的数据块,则对数据块进行第一异构加速处理;服务器主机用于接收客户端单次发送的待处理数据,将待处理数据分成至少两个数据块,分别将各个数据块写入到数据缓存区;统计数据缓存区中已完成第一异构加速处理的数据块的数量;若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量,则对各个数据块对应的处理结果进行第二异构加速处理,得到待处理数据的目标处理结果。采用该方法可以解决相关技术中服务器的数据处理效率较低的问题,从而提高了服务器的数据处理效率。
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据处理方法、装置和电子设备。
背景技术
随着计算机技术的快速发展,越来越多的数据处理通过服务器去完成,比如深度神经网络推理、视频解码等。
相关技术中,一般是服务器主机将接收的待处理数据完全写入到服务器中的加速卡的数据缓存区,才启动加速卡对待处理数据进行处理;但是,每次都要等待服务器主机将待处理数据完全写入到服务器中的加速卡的数据缓存区,才进行数据处理,会耗费大量时间,导致服务器的数据处理效率较低。
发明内容
本公开提供一种数据处理方法、装置和电子设备,以至少解决相关技术中服务器的数据处理效率较低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种数据处理方法,包括:
若检测到数据缓存区存储有服务器主机写入的数据块,则对所述数据块进行第一异构加速处理;所述服务器主机用于接收客户端单次发送的待处理数据,将所述待处理数据分成至少两个数据块,分别将各个所述数据块写入到所述数据缓存区;
统计所述数据缓存区中已完成第一异构加速处理的数据块的数量;
若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量,则对各个所述数据块对应的处理结果进行第二异构加速处理,得到所述待处理数据的目标处理结果;其中,所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
可选地,在统计所述数据缓存区中已完成第一异构加速处理的数据块的数量之后,还包括:
若所述数据缓存区中已完成第一异构加速处理的数据块的数量未达到所述待处理数据所分成的所述数据块的数量,则检测所述数据缓存区是否存储有所述服务器主机写入的数据块。
根据本公开实施例的第二方面,提供一种数据处理方法,包括:
接收客户端单次发送的待处理数据,将所述待处理数据分成至少两个数据块;
分别将各个所述数据块写入到关联的加速卡的数据缓存区;所述加速卡用于若检测到数据缓存区存储有所述数据块,则对所述数据块进行第一异构加速处理;统计所述数据缓存区中已完成第一异构加速处理的数据块的数量;若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量,则对各个所述数据块对应的处理结果进行第二异构加速处理,得到所述待处理数据的目标处理结果;其中,所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
根据本公开实施例的第三方面,提供一种数据处理装置,包括:
第一处理模块,被配置为执行若检测到数据缓存区存储有服务器主机写入的数据块,则对所述数据块进行第一处理;所述服务器主机用于接收客户端单次发送的待处理数据,将所述待处理数据分成至少两个数据块,分别将各个所述数据块写入到所述数据缓存区;
数据块统计模块,被配置为执行统计所述数据缓存区中已完成第一异构加速处理的数据块的数量;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911159697.6/2.html,转载请声明来源钻瓜专利网。