[发明专利]一种数据处理、上报方法、装置、设备和存储介质

说明书

本发明公开了一种数据处理、上报方法、装置、设备和存储介质。该方法包括：接收来自数据端的上报数据，所述上报数据包括统一资源标识符URI和数据类型；根据定制协议解析上报数据，得到目标数据，其中，定制协议与URI相对应，定制协议中的配置字段由用户输入；将目标数据发送给数据库集群。本发明解决了频繁对数据处理端的程序进行修改和升级，以对上报数据进行解析的技术问题，实现了采用通用的协议规范，对协议中相关配置字段通过web前端进行定制化管理，提升了上报数据的接入效率。

技术领域

本发明实施例涉及通信技术，尤其涉及一种数据处理、上报方法、装置、设备和存储介质。

背景技术

数据作为大数据平台依赖的基础，一般数据量越大、种类越丰富，能提供的价值就越高，具备挖掘的潜力也越大。数据从客户端(数据端)上报服务端(数据处理端)的过程中，可以包括以下两种方式：

第一种方式，预先在服务端和客户端之间约定多种数据类型对应的数据协议，客户端根据不同数据类型对应的数据协议，对上报数据进行底层代码编程并封装，客户端对封装后的底层代码进行测试，以保证上报数据的准确性；进一步的，服务端对上报数据进行测试，以接收到对应数据类型的上报数据。

第二种方式，预先在服务端和客户端之间约定特定数据类型对应的数据协议，例如，约定JS对象简谱(JavaScript Object Notation，JSON)数据格式对应的数据协议，客户端直接根据该数据协议将上报数据发送给服务端，而不在客户端作测试；相应的，服务端也不对上报数据进行测试，而仅对上报数据进行合法性的校验后，接收校验合格的上报数据。

以上第一种方式，通过客户端对上报数据的测试以及服务端对上报数据的测试，保证了上报数据的准确性，但是每一类业务数据上报，服务端与客户端需要定制相匹配的数据协议，随着业务的发展，上报的数据类型越多，需要定制越来越多的数据协议，不可避免需要频繁的修改服务端程序及升级，增加了较多的工作量，也影响了服务器的系统稳定性。

以上第二种方式，避免了定制越来越多的数据协议，然而，仅对上报数据进行合法性校验，无法确定上报数据的准确性，为后续使用上报数据带来了较大的隐患。

发明内容

有鉴于此，本发明提供一种数据处理、上报方法、装置、设备和存储介质，以解决现有技术中需频繁对数据处理端的程序进行修改和升级，而导致数据处理端的系统不稳定，以及仅对上报数据进行合法性校验而无法保证上报数据准确性的技术问题。

第一方面，本发明实施例提供了一种数据处理方法，包括：

接收来自数据端的上报数据，所述上报数据包括统一资源标识符URI和数据类型；

根据定制协议解析所述上报数据，得到目标数据，其中，所述定制协议与所述URI相对应，所述定制协议中的配置字段由用户输入；

将所述目标数据发送给数据库集群。

进一步的，在所述接收来自数据端的上报数据之前，还包括：

通过目标web界面获取定制协议的配置字段；

获取协议生成指令，根据所述配置字段生成定制协议。

进一步的，所述根据定制协议解析所述上报数据，得到目标数据，包括：

提取上报数据的URI；

根据所述URI查找对应定制协议中的配置字段；

根据所述配置字段顺序解析所述上报数据，得到目标数据。

进一步的，所述目标数据为JSON数据格式。

进一步的，所述将所述目标数据发送给数据库集群，包括：