[发明专利]一种数据处理方法、设备和系统有效
申请号: | 201210584674.1 | 申请日: | 2012-12-28 |
公开(公告)号: | CN103902614B | 公开(公告)日: | 2018-05-04 |
发明(设计)人: | 徐萌;何鸿凌;杜宇健;钱岭;孙少陵;金骏 | 申请(专利权)人: | 中国移动通信集团公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京鑫媛睿博知识产权代理有限公司11297 | 代理人: | 龚家骅 |
地址: | 100032 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 设备 系统 | ||
1.一种数据处理方法,应用于包括主服务器和分片服务器的分布式列存储数据库系统中,其特征在于,该方法包括:
分片服务器接收主服务器转发的数据查询请求,其中携带有用于指示请求读取的数据所在行的key字段和用于指示请求读取的数据所在列的列表字段;
所述分片服务器根据所述key字段和列表字段在自身存储的数据中查询对应的列数据,并将查询到的列数据以数组的形式返回给所述主服务器;
其中,所述分片服务器包括一个数据片模块Hregion,至少一个列模块Hstore,以及至少一个列存储文件HstoreFile;
所述分片服务器根据所述key字段和列表字段在自身存储的数据中查询对应的列数据,并将查询到的列数据以数组的形式返回给所述主服务器,具体为:
所述Hregion根据所述列表字段确定对应的Hstore,并将该数据查询请求转发给该Hstore;
所述Hstore根据所述key字段确定对应的HstoreFile,并将该数据查询请求转发给该HstoreFile;
所述HstoreFile接收到数据查询请求后,向Hstore返回整个data文件;
所述Hstore将接收到的data文件返回给Hregion;
所述Hregion根据接收到的data文件生成data数组,并将该data数组返回给主服务器。
2.如权利要求1所述的方法,其特征在于,该方法还包括:所述主服务器将所述data数组输出给Map,以使所述Map根据该data数组读取数据,并根据得到的列数据按列进行分析处理。
3.如权利要求2所述的方法,其特征在于,所述Map根据data数组读取数据,具体为:
所述Map按照ColRecord结构读取所述data数组数据;
所述ColRecord结构具体为:
ColRecord(coldata[1],coldata[2],……coldata[n])
其中,n为所述分片服务器查询到的列数据的列数,coldata[i]为所述分片服务器查询到的列数据中的一列数据,i为不大于n的正整数。
4.一种分布式列存储数据库系统,包括主服务器和分片服务器,其特征在于,
所述主服务器用于,接收客户端发起的数据查询请求,并将该数据查询请求转发给分片服务器;以及接收分片服务器返回的数组形式的数据;
所述分片服务器用于,接收主服务器转发的数据查询请求,其中携带有用于指示请求读取的数据所在行的key字段和用于指示请求读取的数据所在列的列表字段;根据所述key字段和列表字段在自身存储的数据中查询对应的列数据,并将查询到的列数据以数组的形式返回给所述主服务器;其中,其特征在于,所述分片服务器包括一个数据片模块Hregion,至少一个列模块Hstore,以及至少一个列存储文件HstoreFile;其中:
所述Hregion用于,接收主服务器转发的数据查询请求,其中携带有用于指示请求读取的数据所在行的key字段和用于指示请求读取的数据所在列的列表字段;根据所述列表字段确定对应的Hstore,并将该数据查询请求转发给该Hstore;接收Hstore返回的data文件,根据该data文件生成data数组,并将该data数组返回给主服务器;
所述Hstore用于,当接收到Hregion转发的数据查询请求时,根据所述key字段确定对应的HstoreFile,并将该数据查询请求转发给该HstoreFile;接收HstoreFile返回的data文件,并将该data文件返回给Hregion;
所述HstoreFile用于,当接收到Hstore转发的数据查询请求时,向Hstore返回整个data文件。
5.如权利要求4所述的系统,其特征在于,所述主服务器还用于,将所述data数组输出给Map,以使所述Map根据该data数组读取数据,并根据得到的列数据按列进行分析处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团公司,未经中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210584674.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:图像处理装置以及图像处理方法
- 下一篇:一种识别信息同步的方法及电子设备