[发明专利]用于检索系统的同步装置及同步方法、检索系统及方法

说明书

本发明公开了一种用于检索系统的同步装置及同步方法、检索系统及方法。检索系统包括同步节点和集群节点，同步节点独立于集群节点且包括一个或多个同步装置，该同步装置包括:至少一个同步触发器，用于在监测到满足同步触发条件时，产生包含待同步数据的数据标识信息的同步触发指示；数据抓取器，用于根据同步触发指示从对应的数据源抓取与所述数据标识信息对应的数据并传输给转储器；转储器，用于将所抓取的数据转储至集群节点中的对应数据表中，集群节点用于存储数据表并提供检索服务。本发明在升级或数据转移时，不需要重启集群节点，满足实际检索需求，提升了检索效率，具有高可用和高并发的特点。

技术领域

本发明实施例涉及检索技术，尤其涉及一种用于检索系统的同步装置及同步方法、检索系统及方法。

背景技术

现有很多应用场景都需要为用户提供检索服务,例如,糯米运营行为,是基于门店展开的，很多应用程序都需要对门店的信息进行检索，包括多字段查询和排序，对门店名称和品牌名称的中文检索，以及对地理坐标的距离检索等。

目前，提供检索服务的检索系统有多种实现方式，例如，采用Elasticsearch(简称ES)、River和Elasticsearch-jetty等工具或组件。

以ES为例，ES的检索架构是以多个集群节点来提供检索服务的。每个集群节点用于提供存储数据的数据库，数据库由数据表(Type)组成。数据库设置有索引(Index)，集群节点能够基于Index，响应用户的数据检索请求，在数据库和数据表中查询到相应的数据，并反馈给用户。在数据表中，可以由不同类型的数据源来提供数据，数据源的种类包括mysql，mongoDB和rabitMQ，数据表通过调用这些数据源来获取数据。

在检索服务中涉及到两个主要的环节，一是数据同步，二是用户的数据操作(可包括读、写、查询等)。现有检索系统针对这两个环节提供的操作都有一些弊端。

对于数据同步环节，基于ES系统实现的数据同步，需要针对不同类型的数据源提供不同的同步方式，且实现同步操作的程序以插件的方式安装在集群节点上，这就导致存在两个缺陷：1、对不同的数据源需要单独编制不同的同步插件；2、想运行同步插件时，必须停止集群节点的工作，安装同步插件之后再启动运行。综上所述，若以插件形式加入新的功能，如升级，则需要重启集群，导致服务不够稳定。

同时，对于用户的数据操作环节，ES系统的集群节点是无法进行权限控制的，即，任何发送给集群节点的用户数据操作指示，都会被执行。且在集群节点内并没有对不同用户的数据进行物理隔离存储，容易出现误操作或恶意操作的问题。

发明内容

本发明提供一种用于检索系统的同步装置及同步方法、检索系统及方法，以实现用户可根据不同设计需求灵活配置同步策略，得到与设计需求匹配的检索系统。

根据本发明的一个方面，提供了一种应用于检索系统的同步装置，包括：至少一个同步触发器，用于在监测到满足同步触发条件时，产生同步触发指示，所述同步触发指示包含待同步数据的数据标识信息；数据抓取器，用于根据所述同步触发指示，从对应的数据源抓取与所述数据标识信息对应的数据，并将所抓取的数据传输给转储器；转储器，用于将所抓取的数据转储至集群节点中的对应数据表中，所述集群节点，用于存储数据表并提供检索服务。

根据本发明的另一方面，提供了一种检索系统，包括集群节点和同步节点，所述同步节点独立于所述集群节点，包括一个或多个如上所述的同步装置，所述集群节点用于存储数据表并提供检索服务。