[发明专利]用于检索系统的同步装置及同步方法、检索系统及方法

权利要求书

1.一种应用于检索系统的同步装置，其特征在于，包括：

至少一个同步触发器，用于在监测到满足同步触发条件时，产生同步触发指示，所述同步触发指示包含待同步数据的数据标识信息；

数据抓取器，用于根据所述同步触发指示，从对应的数据源抓取与所述数据标识信息对应的数据，并将所抓取的数据传输给转储器；

转储器，用于将所抓取的数据转储至集群节点中的对应数据表中，所述集群节点，用于存储数据表并提供检索服务；

配置模块，用于供用户提供所述同步触发器的配置信息、所述数据抓取器的配置信息和所述转储器的配置信息；其中，所述数据抓取器和数据源的对应关系以及所述转储器和集群节点中的数据表的对应关系分别基于所述数据抓取器的配置信息和所述转储器的配置信息获取；

其中，所述检索系统包括同步节点和所述集群节点；所述同步节点用于创建一个或多个所述同步装置执行数据同步操作；

其中，所述同步节点为独立于所述集群节点设置的控制终端，所述控制终端用于与集群进行数据传输，将数据由所述数据源同步至集群；其中，所述集群由至少两个集群节点构成，所述集群节点为存储数据表的服务器集群。

2.根据权利要求1所述的同步装置，其特征在于，还包括：

所述待同步数据的数据标识信息是基于所述同步触发器的配置信息以及所述同步触发器监听到的信息获取的。

3.根据权利要求1或2所述的同步装置，其特征在于，所述同步触发器包括定时触发器、消息触发器和日志触发器中的至少一种；

以及，在监测到满足同步触发条件时，产生同步触发指示，包括下述至少一种情况：

在通过所述定时触发器监测到当前时间满足设定时刻，或到达设定周期时，产生所述同步触发指示；

在通过所述消息触发器监测到对数据源的操作消息中产生设定消息时，产生所述同步触发指示；

在通过所述日志触发器获取并分析数据源的操作日志，监测到该数据源有数据更新时，产生所述同步触发指示。

4.根据权利要求2所述的同步装置，其特征在于，还包括：

调度器，用于在接收到所述同步触发器发送的至少一个同步触发指示和/或所述数据抓取器抓取的数据后，根据所述调度器中的调度策略，分别调度所述数据抓取器来获取对应的数据和/或调度所述转储器将所抓取的数据存储到对应的数据表中。

5.根据权利要求4所述的同步装置，其特征在于，所述调度器具体用于：

在接收到所述同步触发器发送的至少一个同步触发指示后，将所接收的至少一个同步触发指示作为任务放入任务池中；

根据调度器中的调度策略，获取待分配给所述数据抓取器的同步触发指示；

将所获取的待分配同步触发指示分配给所述数据抓取器来抓取对应的数据。

6.根据权利要求5所述的同步装置，其特征在于，所述调度策略包括：最大分配同步触发指示数量、最大转储数据数量以及同步触发指示分配机制。

7.根据权利要求6所述的同步装置，其特征在于，所述同步触发指示分配机制包括：

优先级分配机制；和/或，

资源节约分配机制。

8.根据权利要求4所述的同步装置，其特征在于，所述配置模块还用于：

配置所述调度器中的调度策略。

9.一种检索系统，其特征在于，检索系统包括同步节点，所述同步节点包括一个或多个根据权利要求1到8中任一所述的同步装置。