[发明专利]数据传输方法、装置、电子装置和存储介质

说明书

本申请涉及一种数据传输方法，其中，该数据传输方法包括：获取初始数据以及数据传输需求，所述初始数据至少包括HTTP协议报文；基于所述数据传输需求对所述初始数据进行解析，得到待传输数据，所述待传输数据可通过通用通信协议进行传输；将所述待传输数据传输给数据处理端。通过获取数据传输需求并基于所述数据传输需求对初始数据进行解析，然后再传输给数据处理端，使得后端系统不需要对传输数据进行解析，解决了后端系统计算资源紧张，数据处理效率不高的问题，降低了后端系统的计算压力，提高了数据处理的效率。

技术领域

本申请涉及计算机网络领域，特别是涉及数据传输方法、装置、电子装置和存储介质。

背景技术

NGINX服务器具有较高的HTTP处理能力和反向代理能力，一般会作为WEB服务器或者反向代理服务器部署在网络中。基于NGINX服务器，可以衍生出各种针对HTTP数据的应用，例如流量日志统计等。当系统中需要对HTTP数据进行处理时，常规的方法是将处理模块嵌入NGINX进程，直接对HTTP数据进行处理。但是，直接在NGINX进程中进行处理需要消耗NGINX服务器的计算资源，尤其是在面对重负荷的数据处理任务时会导致NGINX服务器的性能大幅降低。为此，需要将HTTP数据传输到独立的后端系统中，进行分布式处理，从而在不占用NGINX服务器资源的情况下，对HTTP数据进行处理。

为了将HTTP数据传输到独立的后端系统，传统方式都是通过NGINX服务器自带的模块，将HTTP数据以HTTP协议传输到后端系统。但是，由于通过HTTP协议传输数据需要后端系统先基于HTTP协议对数据进行解析，然后才能进行数据处理，导致后端系统计算资源紧张，数据处理效率不高。

针对相关技术中存在的后端系统计算资源紧张，数据处理效率不高的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种数据传输方法、装置、电子装置和存储介质，以解决相关技术中后端系统计算资源紧张，数据处理效率不高的问题。

第一个方面，在本实施例中提供了一种数据传输方法，应用于NGINX服务器，包括：

获取初始数据以及数据传输需求，所述初始数据至少包括HTTP协议报文；

基于所述数据传输需求对所述初始数据进行解析，得到待传输数据，所述待传输数据可通过通用通信协议进行传输；

将所述待传输数据传输给数据处理端。

在其中的一些实施例中，所述基于所述数据传输需求对所述初始数据进行解析，得到待传输数据包括：

采用key/value方式对所述初始数据进行解析，并基于所述数据传输需求提取感兴趣数据，得到待传输数据。

在其中的一些实施例中，所述将所述待传输数据传输给数据处理端包括：

检测是否存在传输通道，若存在传输通道，则通过所述传输通道将所述待传输数据传输给数据处理端，所述传输通道为向数据处理端传输数据的连接通道；

若不存在传输通道，则基于所述数据传输需求建立传输通道并将所述待传输数据传输给数据处理端。

在其中的一些实施例中，所述将所述待传输数据传输给数据处理端还包括：

基于所述数据传输需求获取传输延时需求，所述传输延时需求包括即时传输或延时传输；

基于所述传输延时需求将所述待传输数据传输给数据处理端。

在其中的一些实施例中，所述将所述待传输数据传输给数据处理端还包括：

将所述待传输数据传入待发送队列，所述待发送队列为所述待传输数据的集合；

判断所述传输通道中是否存在已发送队列，所述已发送队列为传输通道中的正在传输的队列；