[发明专利]数据处理的方法、装置、设备和计算机存储介质有效
申请号: | 201910706763.0 | 申请日: | 2019-08-01 |
公开(公告)号: | CN110659312B | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 陈曦;汪洋;王益飞;郑杰鹏;袁鹏程 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/27 |
代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 田宏宾 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 设备 计算机 存储 介质 | ||
本发明提供一种数据处理的方法、装置、设备和计算机存储介质,所述方法包括:对数据库所包含的节点进行分区处理,并为所得到的每个分区分配对应的执行器;接收到检索请求之后,根据数据库的数据结构,控制各执行器执行从所属节点到与所属节点相邻的下一个节点的游走,实现数据检索。本发明通过所分配的执行器分别控制相应的节点以进行数据检索,从而提高检索速度,提升检索效率。
【技术领域】
本发明涉及数据库技术领域,尤其涉及一种数据处理的方法、装置、设备和计算机存储介质。
【背景技术】
随着数据库技术的快速发展,数据库被应用在各种领域。由于数据库中存储有海量数据,因此如何在数据库中进行快速有效的数据检索成为人们越来越关注的技术问题。现有技术在进行数据检索时,存在以下问题:每次检索的线程随机分配节点来进行游走,使得每次检索时各线程处理的数据完全随机,从而无法使用计算机CPU自身的高速缓存进行数据读取,因此检索速度较慢,检索效率较低。
【发明内容】
有鉴于此,本发明提供了一种数据处理的方法、装置、设备和计算机存储介质,用于提高数据检索速度,提升数据检索效率。
本发明为解决技术所采用的技术方案是提供一种数据处理的方法,所述方法包括:对数据库所包含的节点进行分区处理,并为所得到的每个分区分配对应的执行器;接收到检索请求之后,根据数据库的数据结构,控制各执行器执行从所属节点到与所属节点相邻的下一个节点的游走,实现数据检索。
根据本发明一优选实施例,所述对数据库所包含的节点进行分区处理包括:获取数据库所包含的节点的标识信息;对各节点的标识信息进行取模,分别得到各节点的取模结果;将具有相同取模结果的节点划分为同一个分区。
根据本发明一优选实施例,所述根据数据库的数据结构,控制各执行器执行从所属节点到与所属节点相邻的下一个节点的游走包括:根据数据库的数据结构以及分区,确定各执行器的所属节点以及与各所属节点相邻的下一个节点;根据所确定的节点,控制各执行器分别执行从所属节点到与所属节点相邻的下一个节点的游走。
根据本发明一优选实施例,所述根据数据库的数据结构,控制各执行器执行从所属节点到与所属节点相邻的下一个节点的游走包括:根据所述检索请求确定检索的起始节点;将起始节点确定为当前节点,将与当前节点对应的执行器确定为当前执行器;将当前起点发送至当前执行器,在根据数据库的数据结构确定与当前节点相邻的下一个节点之后,控制当前执行器执行从当前节点到与其相邻的下一个节点的游走;确定与当前节点相邻的下一个节点是否为当前执行器的所属节点,若是,则将与当前节点相邻的下一个节点确定为当前节点之后,继续控制当前执行器执行从当前节点到与其相邻的下一个节点的游走;否则,将与当前节点相邻的下一个节点作为起始节点发送至对应的执行器,并重复上述过程,直至完成所有节点之间的游走。
根据本发明一优选实施例,将节点发送至执行器包括:将要发送的节点作为待检索节点添加到执行器的任务队列中,由执行器根据任务队列进行顺序处理。
根据本发明一优选实施例,所述方法还包含:根据接收到的更新请求确定所要更新的节点;根据所确定的节点确定与其对应的执行器,由所确定的执行器对相应的节点进行更新。
根据本发明一优选实施例,所述由所确定的执行器对相应的节点进行更新包括:将要更新的节点作为待更新节点添加到所确定的执行器的任务队列中,由执行器根据任务队列进行顺序处理。
本发明为解决技术问题所采用的技术方案是提供一种数据处理的装置,所述装置包括:处理单元,用于对数据库所包含的节点进行分区处理,并为所得到的每个分区分配对应的执行器;检索单元,用于接收到检索请求之后,根据数据库的数据结构,控制各执行器执行从所属节点到与所属节点相邻的下一个节点的游走,实现数据检索。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910706763.0/2.html,转载请声明来源钻瓜专利网。