[发明专利]一种基于Solr的电商索引文件的混合式更新方法

说明书

本发明提供一种基于Solr的电商索引文件的混合式更新方法，事先将商品的信息分为敏感信息和非敏感信息，在敏感信息变动时采用实时更新索引文件的方式更新，而其它非敏感信息的变动采用定时增量更新索引文件的方式更新，这样既保证了搜索引擎的敏感信息的实时更新，又兼顾了搜索引擎的性能，尽可能减少对索引文件的频繁更新操作。

技术领域

本发明涉及计算机技术领域，特别是一种基于Solr的电商索引文件的混合式更新方法。

背景技术

在电商网站系统里，当商品库里的商品信息发生变动时，变动需要更新到搜索引擎系统的索引文件里。商品属性如价格、实时库存等敏感信息要求实时更新到索引文件中，而像商品名称或描述信息则允许存在一定延迟后再更新到索引文件中。目前，基于Solr的搜索引擎的索引文件更新方法大致有如下几种方法：

一、全量更新

全量更新虽然可以采取分段读取数据，可以按自增主键分段或者按记录更新的时间截分段取。但由于数据源是可增删改查，这种更新会导致按自增id的数据在有些地方比较稀疏；而按记录的更新时间截，也有可能在某个时间段里更新大量数据，所以也会有不同时间段数据过稀或者过密的情况，这种情况导致分段取数据调控不方便。而且如果数据源的数据量大的话，完成一次全量更新得耗费较长的时间，而且可能真正需要更新到索引文件的记录只有某几条，所以对于数据源的数据量比较多的情况，全量更新明显不适合。

二、增量更新

增量更新是每隔一定的时间，把数据源有被修改的记录更新到索引文件中，所以存在数据源和索引文件之间数据同步的延迟。对于敏感数据如商品价格、实时库存等如果没能实时同步到索引文件的话，那么用户通过搜索引擎检索出来的商品的价格、实时库存则和实际的商品价格、实时库存不符。

3)实时更新

每次商品信息变动都向Solr发送一个更新索引文件的请求。实时更新的方法会频繁对索引文件进行写入操作，影响索引文件的读取效率。而且客户端是以同步的方式向Solr发送一个更新索引文件的请求，并不能保证该请求肯定会执行成功，如果中间出现网络故障，则会造成数据源和索引文件不一致。

发明内容

本发明要解决的技术问题，在于提供一种基于Solr的电商索引文件的混合式更新方法，将商品的敏感信息变动实时更新到索引文件中，而其它非敏感信息的变动采用定时增量更新的方式更新到索引文件中，这样既保证了搜索引擎的敏感信息的实时更新，又兼顾了搜索引擎的性能，尽可能减少对索引文件的频繁更新操作。

本发明是这样实现的：一种基于Solr的电商索引文件的混合式更新方法，事先将商品信息分为敏感信息和非敏感信息，并且基于Solrj开发一个WEB服务命名为Solrj服务，所述Solrj服务用于实现实时更新索引文件和定时增量更新索引文件，然后进行如下步骤：

步骤S1、商品管理系统修改商品信息并将商品修改的信息保存到数据库，同时将商品记录的IsCommit字段值改为“F”，且LastUpdatedDateTime字段值记录修改时间；

步骤S2、判断本次修改商品信息的操作是否为删除操作，如果是删除操作，则更改商品记录的Expired字段的值为“T”，等待所述Solrj服务进行所述定时增量更新索引文件；如果不是删除操作，则继续执行步骤S3；

步骤S3、判断被修改的商品信息是否包含有敏感信息，如果是，则所述Solrj服务进行所述实时更新索引文件；如果不是，则等待所述Solrj服务进行所述定时增量更新索引文件。

进一步地，所述实时更新索引文件包括以下步骤：

步骤S11、所述商品管理系统异步调用所述Solrj服务提供的实时更新索引接口；

步骤S12、所述Solrj服务接收到调用请求后，向Solr搜索服务器发送实时更新索引文件的请求；