[发明专利]基于Hadoop的索引创建方法及其索引方法无效
| 申请号： | 201310302669.1 | 申请日： | 2013-07-17 |
| 公开（公告）号： | CN103324762A | 公开（公告）日： | 2013-09-25 |
| 发明（设计）人： | 陆嘉恒;程明 | 申请（专利权）人： | 陆嘉恒 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 王莹 |
| 地址： | 100872 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于Hadoop的索引创建方法及其索引方法，其分别建立了基于文件的索引、基于数据块的索引以及基于记录的索引的三级索引机制，在进行数据读取时，根据所述索引信息，对所诉输入分片进行逐层过滤，使得最终查询结果可以直接跳过无用的数据而执行读取动作，本发明避免了Hadoop读取无用数据，提高了海量数据的处理效率。 | ||
| 搜索关键词： | 基于 hadoop 索引 创建 方法 及其 | ||
【主权项】：
一种基于Hadoop的索引创建方法，其特征在于，包括以下步骤：将输入分片按行读取，分别形成第一键值对，并将读取的所述字符串按行生成第一输入表格；获取所述第一输入表格的格式信息，根据所述第一键值对，将所述第一输入表格的各行字符串进行重组，生成第二输入表格；提取所述第二输入表格的索引属性值；计算所述各第二键值对的分片号，根据所述各第二键值对的分片号，对所述各第二键值对进行分组；将每组内所述各第二键值对对应的表格记录按照其索引属性值进行排序，并根据生成的所述各中间键值对，提取所述每组表格记录的索引取值范围，创建基于文件的索引。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于陆嘉恒，未经陆嘉恒许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310302669.1/，转载请声明来源钻瓜专利网。
