[发明专利]实时消息处理方法、系统、装置、存储介质及电子设备

说明书

本发明实施例提供了一种实时消息处理方法、系统、装置、计算机可读存储介质及电子设备，涉及计算机技术领域。所述方法包括：获取反映数据库变化情况的数据库变更消息并发送到封装线程；利用所述封装线程根据所述数据库变更消息生成识别数据和内容数据，并根据所述识别数据将所述识别数据和所述内容数据发送到消息队列的相应线程；根据所述识别数据对所述内容数据进行时序校验；根据通过时序校验的所述识别数据和所述内容数据生产索引。本发明实施例的技术方案通过使用多线程发送反映数据库变化情况的识别数据和内容数据，并对内容数据进行时序校验，在保证消息时序的前提下，实现了面对海量商品实时修改消息时的高吞吐，低延迟处理。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种实时消息处理方法、系统、装置、计算机可读存储介质及电子设备。

背景技术

在互联网应用中，搜索引擎是大家快速获取信息的主要手段。在电商行业中，会存在商品实时修改的情况。商品实时修改包括对商品的商品名称、库存、价格以及评论等数据进行实时修改。

特别在商品促销活动期间，消息量巨大，如果搜索引擎的吞吐量不够，会出现促销价格未及时变更，商品在无库存的情况下依然在搜索展示。如果消息时序不正确，会出现商品的上下架状态不正确，从而影响用户体验和商品的销量。

如何在保证消息时序的前提下，实现面对海量商品实时修改消息时的高吞吐，低延迟处理，是目前亟需解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种实时消息处理方法、系统、装置、计算机可读存储介质及电子设备，进而至少在一定程度上实现在保证消息时序的前提下，面对海量商品实时修改消息时的高吞吐，低延迟处理。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供一种实时消息处理方法，包括：获取反映数据库变化情况的数据库变更消息并发送到封装线程；利用所述封装线程根据所述数据库变更消息生成识别数据和内容数据，并根据所述识别数据将所述识别数据和所述内容数据发送到消息队列的相应线程；根据所述识别数据对所述内容数据进行时序校验；根据通过时序校验的所述识别数据和所述内容数据生产索引。

在一些实施例中，根据所述识别数据对所述内容数据进行时序校验前，所述方法还包括：从所述消息队列获取所述识别数据和所述内容数据；根据所述识别数据确定目标校验线程；将所述识别数据和所述内容数据发送至所述目标校验线程。

在一些实施例中，根据所述识别数据对所述内容数据进行时序校验后，所述方法还包括：根据所述识别数据将通过时序校验的所述识别数据和所述内容数据发送到所述消息队列的相应线程。

在一些实施例中，所述根据识别数据将所述识别数据和所述内容数据发送到消息队列的相应线程，包括：对所述识别数据进行哈希处理，得到哈希值；将所述哈希值相对于所述消息队列的总线程数取余数；根据所述余数确定所述识别数据对应的消息队列的线程。

在一些实施例中，所述根据所述识别数据对所述内容数据进行时序校验，包括：根据所述内容数据生成信息校验值；将所述信息校验值与缓存校验值进行比较；若所述信息校验值大于所述缓存校验值，确定校验通过并将所述缓存校验值更新为所述信息校验值。

在一些实施例中，所述信息校验值包括第一部分和第二部分，所述缓存校验值包括第三部分和第四部分；所述根据所述内容数据生成信息校验值包括：根据所述内容数据的文件名生成所述第一部分，根据所述内容数据的文件偏移量生成所述第二部分；在所述第一部分大于等于所述第三部分，且所述第二部分大于所述第四部分时，确定所述信息校验值大于所述缓存校验值。