[发明专利]一种数据处理、上报方法、装置、设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收来自数据端的上报数据，所述上报数据包括统一资源标识符URI和数据类型；

根据定制协议解析所述上报数据，得到目标数据，其中，所述定制协议与所述URI相对应，所述定制协议中的配置字段由用户输入；

将所述目标数据发送给数据库集群。

2.根据权利要求1所述的方法，其特征在于，在所述接收来自数据端的上报数据之前，还包括：

通过目标web界面获取定制协议的配置字段；

获取协议生成指令，根据所述配置字段生成定制协议。

3.根据权利要求2所述的方法，其特征在于，所述根据定制协议解析所述上报数据，得到目标数据，包括：

提取上报数据的URI；

根据所述URI查找对应定制协议中的配置字段；

根据所述配置字段顺序解析所述上报数据，得到目标数据。

4.根据权利要求3所述的方法，其特征在于，所述目标数据为JSON数据格式。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标数据发送给数据库集群，包括：

通过flume进程将所述目标数据发送至Hadoop集群。

6.根据权利要求5所述的方法，其特征在于，所述通过flume进程将所述目标数据发送至Hadoop集群，包括：

将所述目标数据发送至kafka集群；

远程启动flume进程；

所述kafka集群通过所述flume进程将所述目标数据发送至Hadoop集群。

7.根据权利要求5或6所述的方法，其特征在于，所述发送至Hadoop集群，包括：

所述Hadoop集群中的Hive表包括所述目标数据中的数据类型，则将所述目标数据存入对应的Hive表；

所述Hadoop集群中的Hive表不包括所述目标数据中的数据类型，则新建Hive表，并将所述目标数据存入新建的Hive表。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述配置字段至少包括如下之一：URI、事件名称、topic、上报方式、字段名称、数据类型和备注信息；所述上报方式包括超文本传输协议HTTP上报方式和传输控制协议TCP上报方式。

9.一种数据上报方法，其特征在于，包括：

获取原始数据，所述原始数据包括统一资源标识符URI；

根据定制协议封装所述原始数据，得到标准序列化的上报数据，所述定制协议与所述URI相对应，所述定制协议中的配置字段由用户输入；

将所述上报数据发送给数据处理端。

10.一种数据处理装置，其特征在于，包括：

接收模块，用于接收来自数据端的上报数据，所述上报数据包括统一资源标识符URI和数据类型；

解析模块，用于根据定制协议解析所述上报数据，得到目标数据，其中，所述定制协议与所述URI相对应，所述定制协议中的配置字段由用户输入；

第一发送模块，用于将所述目标数据发送给数据库集群。

11.一种数据上报装置，其特征在于，包括：

获取模块，用于获取原始数据，所述原始数据包括统一资源标识符URI；

封装模块，用于根据定制协议封装所述原始数据，得到标准序列化的上报数据，所述定制协议与所述URI相对应，所述定制协议中的配置字段由用户输入；

第二发送模块，用于将所述上报数据发送给数据处理端。