[发明专利]一种应用于搜索服务的全量同步方法

摘要

本发明公开了一种应用于搜索服务的全量同步方法。该方法能够将应用系统中的海量不同数据源类型、不同中心库下的多表关联的复杂业务数据做拉平处理，以高效的速度全量同步至搜索引擎，具有很好的应用前景。

主权项

1.一种应用于搜索服务的全量同步方法，其特征在于，包括：获取需要进行全量同步操作的搜索引擎索引名称；根据所述搜索引擎索引名称，查询与所述搜索引擎索引名称对应的索引配置信息和数据源配置信息，其中，与所述搜索引擎索引名称对应的索引配置信息包括：利用所述搜索引擎索引名称配置的多个表的数目、所述多个表中的每个表的名称、所述多个表中的每两个表之间的关联关系和关联键、所述多个表中的每个表配置的字段、以及与所述多个表中的每个表对应的数据源配置名称；通过JDBC与数据库进行连接，并查询所述多个表中的每个表在数据库中存储的数据条数；根据所述多个表中的每两个表之间的关联关系和关联键，为所述多个表创建表树形结构，其中，所述表树形结构包括多个层级，第一层级上具有一个表，除第一层级之外的其他层级上具有至少一个表；针对所述表树形结构的每个层级，从最低层级开始到第二层级为止，依次执行以下操作：利用预设规则，依次将与各层级上的表及其上游表对应的索引配置信息和数据源配置信息、该上游表的名称、以及所述表树形结构中的所有表之间的关联关系存储到堆栈中；按照存储顺序，依次从堆栈中取出与各层级上的表及其上游表对应的索引配置信息和数据源配置信息，并对各层级上的表及其上游表在数据库中存储的数据进行处理，形成各层级上的表与各层级上的表的上游表的关联表，其中，所述关联表包括：各层级上的表的上游表配置的所有字段，以及分别对各层级上的各表配置的所有字段进行格式转换后形成的JSON格式的数据；将通过上述操作形成的第一层级上的表与第二层级上的表的关联表中的数据转换为JSON格式的数据，并调用搜索引擎的接口将所述JSON格式的数据写入到搜索引擎中，从而实现了从数据库到搜索引擎的全量同步。