[发明专利]一种处理实时消息的方法和系统

说明书

本发明公开了一种处理实时消息的方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：接收一个或多个主键相同的实时消息；对所述实时消息进行组装以得到一个或多个更新操作对象；发起对搜索系统的访问，然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。该实施方式通过组装主键相同的实时消息，将组装得到的所有更新操作对象发送至Elasticsearch进行聚合处理，实现了对更新操作对象的批量发送，减少了对Elasticsearch的频繁访问，提升了Storm的吞吐量。

技术领域

本发明涉及计算机领域，尤其涉及一种处理实时消息的方法和系统。

背景技术

随着互联网行业的飞速发展，数据越来越重要。其中，实时消息更是关注的焦点。现有技术中一般通过实时流式计算系统对海量实时数据进行处理，具体方案为：实时流式计算系统(Storm)在接收到一条消息后，根据该消息组装在累加聚合时所需的主键，根据该主键从Elasticsearch中查询对应的消息记录，如果未查询到，则将该消息插入到Elasticsearch中；如果查询到消息记录，则将消息记录中的指标值和该消息的指标值(比如网站的浏览量、销售额等)加和后更新到Elasticsearch中，通过上述方式实现了指标值的实时累加聚合。其中，Storm是一个分布式的实时流式计算系统，可以水平扩展、自动容错，延迟达到毫秒级，常用于实时分析、在线机器学习等。Elasticsearch是一个分布式、可扩展的实时搜索与数据分析引擎，可实现数据的存储、聚合、全文检索等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：Storm每接收一条消息需操作两次Elasticsearch，当消息的数量比较大时，将消息插入到Elasticsearch往往成为瓶颈，导致在实时消息的处理过程中Storm的吞吐量降低。

发明内容

有鉴于此，本发明实施例提供一种处理实时消息的方法和系统，通过组装主键相同的实时消息，将组装得到的所有更新操作对象发送至Elasticsearch进行聚合处理，实现了对更新操作对象的批量发送，减少了对Elasticsearch的频繁访问，提升了Storm的吞吐量。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理实时消息的方法。

本发明实施例的一种处理实时消息的方法，包括：接收一个或多个主键相同的实时消息；对所述实时消息进行组装以得到一个或多个更新操作对象；发起对搜索系统的访问，然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。

可选地，所述对所述实时消息进行组装以得到一个或多个更新操作对象的步骤之前，还包括：接收系统消息；所述对所述实时消息进行组装以得到一个或多个更新操作对象的步骤之后以及所述发起对搜索系统的访问的步骤之前还包括：确认接收到的消息为所述系统消息，或者确认接收到的消息不是所述系统消息且所述更新操作对象的数量大于等于设定阈值。

可选地，所述对所述实时消息进行组装以得到一个或多个更新操作对象，包括：对所述实时消息进行格式变换后得到消息体对象，根据所述消息体对象和所述实时消息中的指标组装成Script对象，所述Script对象即为更新操作对象。

可选地，所述在本次访问中向所述搜索系统发送所有的所述更新操作对象的步骤之后，还包括：根据发送频次和预设的频次取值区间动态调整所述阈值。

可选地，所述根据发送频次和预设的频次取值区间动态调整所述阈值，包括：当所述发送频次大于所述频次取值区间的最大值时，按照预设增量增加所述阈值；当所述发送频次小于所述频次取值区间的最小值时，按照预设减量减少所述阈值；当所述发送频次在所述频次取值区间内时，所述阈值保持不变。

可选地，采用Storm执行所述处理实时消息的步骤，所述搜索系统为Elasticsearch。

为实现上述目的，根据本发明实施例的另一方面，提供了一种处理实时消息的系统。