[发明专利]一种跨内外网的分布式索引资源整合与共享方法

摘要

本发明公开了一种跨内外网的分布式索引资源整合与共享方法，包含如下三个模块：分布式存储模块：将行业所生产的数据按照具体的需求划分成不同的类别，并将数据注册生成索引，不同类别的数据将会存储在不同的物理节点上；共享模块：内外网数据分布于同一个集群不同的物理节点中，内网利用网闸的文件摆渡的方式，向外网平台提供索引数据的部分或全部信息，外网向内网提供请求；分布式检索模块：对集中整合在外网上的不同数据索引进行分布式检索，并可根据检索结果向内网回调获取详细信息。本发明实现不同类别的数据的分布式索引机制和内外网闸间的数据共享机制，并且基于大数据平台，能够近实时的分布式处理大量的数据，满足用户的检索、共享等需求。

主权项

1.一种跨内外网的分布式索引资源整合与共享方法，其特征在于：依次包括以下步骤：(1)根据行业数据的类别在内外网间部署初始的分布式节点，划分节点所属的数据类别，构建分布式检索系统；该分布式检索系统包括三个模块：分布式存储模块，共享模块和分布式检索模块；分布式存储模块将注册进来的数据以索引的形式按类别存储在于不同物理节点，共享模块传递内网和外网之间的请求和结果；分布式检索模块完成外网用户的查询功能并利用共享模块实现详细信息的回调；(2)内网通过分布式存储模块将注册进来的行业数据以索引的形式按类别存储在分布式节点上；(3)根据内外网之间所需要交换的数据特征，共享模块制定将数据转化为可读文件的格式规则，外网平台选择需要从内网共享的数据，通过网闸共享模块，内网将概要数据交换至外网；(4)用户通过分布式检索模块将检索请求提交给分布式集群，分布式集群返回搜索结果给用户；(5)搜索结果包含数据的在内网中的原始地址和节点信息，用户可以通过地址回调得到数据的详情信息；其中，步骤(2)中将索引按类别存储机制为：解析注册数据的所属类别，并与分布式集群中的节点进行对应和比较；对于数据类型为新的类别，即系统中没有与其对应节点的情况，用户可以选择为新的数据类型开辟新的节点，并将其存储在新的节点上；即：内外网中所存储的索引数据存储在不同的物理节点上，一个物理节点可对应一种或几种类别的数据，每个物理节点上的数据也可在其他物理节点上进行备份，多个物理节点的分类存储构成了分布式存储模块；该过程中利用搜索引擎工具搭建的包含多个节点的集群构成了分布式存储模块和分布式检索模块的主体部分，即是用来存储和响应检索请求的检索平台，搜索引擎包括solr cloud和Elasticsearch。