[发明专利]一种数据处理的方法及装置

说明书

本发明公开了一种数据处理的方法及装置，该方法包括，获取至少两路通讯报文，其中，该至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文，业务处理系统不执行记录存储的逻辑，对至少两路通讯报文进行处理，从处理后的至少两路通讯报文中确定出待存储的通讯报文；根据至少两路通讯报文将待存储的通讯报文存储到数据库中。该技术方案针对非时延敏感业务系统，将业务处理与数据存储进行异步解耦分离，在保障业务处理与入库数据一致性的前提下，提高业务处理的性能，满足互联网突发的大量处理请求。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据处理的方法及装置。

背景技术

互联网大流量的应用场景下，对于分布式系统的处理能力提出了很高的要求。其中有一类业务系统，对处理有极高的性能与吞吐量要求，但对于业务数据存储的时延可以有一定的容忍度，该类系统可以统称为非时延敏感业务系统。针对非时延敏感业务系统，现有技术中业务处理完成后需要等待存储系统将通讯报文存储之后，才能进行下一步的业务处理，这样影响了业务处理的性能，不能满足互联网突发的大量处理请求。

针对非时延敏感业务系统，需要一种可以将业务处理与数据存储进行异步解耦分离，在数据存储允许的时延容忍度范围内，提高业务处理的性能，满足互联网突发的大量处理请求。

发明内容

本发明实施例提供一种数据处理的方法及装置，针对非时延敏感业务系统，在保障业务处理与入库数据一致性的前提下，提高业务处理的性能，满足互联网突发的大量处理请求。

本发明实施例提供的一种数据处理的方法，包括：

获取至少两路通讯报文；所述至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文；所述业务处理系统不执行记录存储的逻辑；

对所述至少两路通讯报文进行处理，从处理后的所述至少两路通讯报文中确定出待存储的通讯报文；

根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中。

上述技术方案中，将业务处理与数据存储进行异步解耦分离，通过旁路方式截取业务处理系统发送给外部系统的通讯报文，并根据获取到的通讯报文进行数据存储。业务处理系统不执行记录存储的逻辑，也就是业务处理系统不将通讯报文发送给数据库进行存储，更无需等待数据库存储之后才能执行下一步的业务处理，加快了业务处理的速度，提高了业务处理性能，满足互联网突发的大量处理请求。

可选的，所述获取至少两路通讯报文，包括：

通过交换机端口镜像方式将所述通讯报文复制，并输出至少一路第一通讯报文；

通过链路分光截取方式将所述通讯报文复制，并输出至少一路第二通讯报文。

上述技术方案中，提供两种获取通讯报文的方式，即在不影响业务处理系统与外部系统通讯的前提下，通过两种独立的方式获取相同的通讯报文。

可选的，所述对所述至少两路通讯报文进行处理，包括：

针对所述至少两路通讯报文中的任一通讯报文，对所述通讯报文进行分流处理；

将所述分流处理的通讯报文预处理后，提取所述预处理后的所述分流处理的通讯报文中的应用层信息。

上述技术方案中，对通讯报文进行处理，保障了数据的完整性以及数据存储的准确性，同时通过数据处理减小数据库压力。

可选的，所述根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中，包括：

确定所述待存储的通讯报文是否完整，若不完整，则根据所述至少两路通讯报文，将所述待存储的通讯报文补充完整后存储在数据库中。