[发明专利]一种基于大数据模型元数据的混合索引方法

说明书

本发明公开了一种基于大数据模型元数据的混合索引方法，包括以下步骤，S1：提取混合索引元数据，根据大数据模型元数据、模型解释和运行特征提取出混合索引的元数据，根据元数据的属性值将元数据赋值为1或0；S2：构建或更新混合索引，利用全域哈希函数构建或更新混合索引；S3:储存混合索引，根据混合索引特点，将混合索引的各个部分存储于内存、缓存和磁盘上，并根据查询要求依次并行检索索引内容；S4：检索混合索引，根据大数据模型的特点和混合索引特征，构建检索算法同时检索混合索引的不同部分。本发明紧密结合了大数据模型的元数据和模型特征，提供了一种高效准确的模型索引技术，提高了检索速度，增加大数据模型使用的便捷性。

技术领域

本发明涉及一种混合索引方法，尤其是一种基于大数据模型元数据的混合索引方法。

背景技术

伴随着云计算、分布式集群和大数据研究的出现，原有的关系型数据库和索引逐渐不能满足现在的网络和计算要求，尤其是关系型数据库的一致性已经显得没有那么重要，这就需要新的数据存储方式和索引方式的出现。2009年，一场关于开源分布式数据库的讨论使得NoSQL应运而生，随着Google的分布式文件系统和BigTable的开源化，非关系型数据库得到国内外的重视、研究和运用。

与关系型数据库不同的是，非关系型数据库提出另一种记录的存储和管理方式，例如，以键值对存储，且结构不固定，每一个存储记录-元组既可以有补一样的字段，也可以根据需要添加键值对，这样就不会局限于固定的结构，可以减少一些时间和空间开销。同时为了获取不同的信息，不需要像关系型数据库对表进行关联查询，只需要根据ID取出相应的value即可。非关系型数据库的颠覆性结构和存储使得其索引变得更加困难，同时也引起了更多的研究机构和学者的注意。从针对全局索引到分布式环境中局部索引的改进，从支持唯一索引到哈希索引的引进，非关系型数据库和其索引在大数据研究中发挥的作用越来越大。

无论是在关系型数据库还是在非关系型数据库中，研究人员均发现了单一的索引方式在某些特定场合发挥的作用低下，尤其是在空间数据和局部微小数据的查询上。于是，混合索引和多级索引结构伴随着不同的索引需求出现了，尤其是通过内存、缓存和外存的存储方式加上哈希树(表)、B树(B+树、B*树)、R树(R相关树)和倒排表在搜索引擎、文档的全文搜索和空间位置方面的运用尤为突出。混合索引的突出特点在大数据研究方面也作用显著，在健康(医疗)大数据、交通大数据和能源大数据的某些数据源上得到了很好的使用。

并行混合索引，即是在分布式集群上构建一个混合索引实现并行检索。由于大数据模型数量多，体积小，分布广泛，易扩展和易改变等特点，当前的关系型数据库已不太适合进行模型管理和存储；又因为分布式集群动态扩展和大数据模型动态运行特征等因素，故选择非关系型数据库-MongoDB进行大数据模型的存储和管理。因此本发明提出了一种基于大数据模型元数据，针对大数据模型的的并行混合索引方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于大数据模型元数据的混合索引方法，能够解决在大数据模型综合分析平台下的模型检索和管理问题。

本发明是通过以下技术方案来实现的：一种基于大数据模型元数据的混合索引结构，包括以下步骤：

S1：提取混合索引元数据，根据大数据模型元数据和模型解释、运行特征，提取得到构建混合索引的元数据，并根据元数据的属性值为元数据赋值为1或0；

S2：构建或更新混合索引，根据提取得到的元数据和元数据值，利用全域哈希函数，对大数据模型记录的提交构建或者更新混合索引；

S3：储存混合索引，根据混合索引的特点，将混合索引的各个部分分别存储于内存、缓存和磁盘上，根据查询要求依次可并行检索索引中内容；

S4：检索混合索引，根据大数据模型的特点和混合索引特征构建检索算法并行检索混合索引的不同部分。

所述提取混合索引元数据包括以下子步骤：