[发明专利]一种实现Apache Solr读写分离的方法和装置有效
申请号: | 201810573076.1 | 申请日: | 2018-06-06 |
公开(公告)号: | CN108763572B | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 何小成;王晓斌;黄三伟 | 申请(专利权)人: | 湖南蚁坊软件股份有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F9/455;G06F9/50 |
代理公司: | 长沙心智力知识产权代理事务所(普通合伙) 43233 | 代理人: | 谢如意 |
地址: | 410013 湖南省长沙市高新区*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 实现 apache solr 读写 分离 方法 装置 | ||
1.一种实现Apache Solr读写分离的方法,其特征在于,所述方法包括:
接收持久化程序的数据写入请求,根据所述数据写入请求将数据写入至写入集群和快照集群中;
接收Apache Solr客户端的搜索请求,根据所述搜索请求从读取集群和快照集群中搜索数据;
接收持久化程序发送的段合并指令,并根据所述段合并指令对写入集群中的数据执行段合并操作;
接收所述段合并指令并根据所述段合并指令执行段合并操作后,接收持久化程序发送的同步指令,根据所述同步指令从写入集群的数据目录中增量加载索引文件到读取集群的堆外内存中;
接收所述同步指令并根据所述同步指令执行同步操作后,接收持久化程序发送的数据清理指令,根据所述数据清理指令清理快照集群中已同步完毕的过期数据。
2.根据权利要求1所述的实现Apache Solr读写分离的方法,其特征在于,在所述接收持久化程序的数据写入请求,根据所述数据写入请求将数据写入至写入集群和快照集群中之前还包括:
采用docker容器化部署将Apache Solr系统分别部署到写入集群和读取集群中;
采用单独部署的方式将Apache Solr系统部署到快照集群中。
3.根据权利要求1或2所述的实现Apache Solr读写分离的方法,其特征在于,所述写入集群接收数据的写入,实现数据的持久化存储;
所述读取集群通过堆外内存存储索引对外提供搜索服务;
所述快照集群采用堆外内存存储索引,接收数据写入,并对外提供搜索服务。
4.根据权利要求1或2所述的实现Apache Solr读写分离的方法,其特征在于,所述接收持久化程序发送的同步指令,根据所述同步指令从写入集群的数据目录中增量加载索引文件到读取集群的堆外内存中包括:
接收持久化程序发送的同步指令;
根据所述同步指令预设同步时间;
根据所述同步时间进行数据同步,将所述同步时间内写入的数据从写入集群增量加载到读取集群的堆外内存中。
5.根据权利要求1或2所述的实现Apache Solr读写分离方法,其特征在于,所述接收持久化程序的数据写入请求,根据所述数据写入请求将数据写入至写入集群和快照集群中还包括:
写入数据时,将索引数据写入至写入集群和快照集群。
6.一种Apache Solr读写分离装置,其特征在于,所述装置包括:
数据写入模块,用于接收持久化程序的数据写入请求,根据所述数据写入请求将数据写入至写入集群和快照集群中;
数据搜索模块,用于接收Apache Solr客户端的搜索请求,根据所述搜索请求从读取集群和快照集群中搜索数据;
段合并模块,用于接收持久化程序发送的段合并指令,并根据所述段合并指令对写入集群中的数据执行段合并操作;
数据同步模块,用于接收所述段合并指令并根据所述段合并指令执行段合并操作后,接收持久化程序发送的同步指令,根据所述同步指令从写入集群的数据目录中增量加载索引文件到读取集群的堆外内存中;
数据清理模块,用于接收所述同步指令并根据所述同步指令执行同步操作后,接收持久化程序发送的数据清理指令,根据所述数据清理指令清理快照集群中已同步完毕的过期数据。
7.根据权利要求6所述的Apache Solr读写分离装置,其特征在于,所述装置还包括:
写入集群部署模块,用于采用docker容器化部署将Apache Solr系统部署到写入集群中;
读取集群部署模块,用于采用docker容器化部署将Apache Solr系统部署到读取集群中;
快照集群部署模块,用于采用单独部署的方式将Apache Solr系统部署到快照集群中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南蚁坊软件股份有限公司,未经湖南蚁坊软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810573076.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种作业地图更新方法
- 下一篇:一种基于机器学习的OLAP引擎路由方法及系统