[发明专利]将数据落地到数据平台的方法、设备和存储介质

权利要求书

1.一种用于将应用平台的数据落地到远程数据平台的方法，其特征在于，包括：

从kafka服务器获取应用平台的数据并存储在指定目录中；

去指定目录下读取所述数据，并对所述数据进行解析和整合；

将解析和整合后的所述数据存储到数据平台的数据库中。

2.如权利要求1所述的方法，其特征在于，所述数据平台具有flume服务器，所述从kafka服务器获取应用平台的数据并存储在指定目录中包括：

flume服务器订阅kafka服务器的用于发布应用平台的数据的频道；

flume服务器从所述频道获取所述数据并存储在指定目录中。

3.如权利要求1所述的方法，其特征在于，所述去指定目录下读取所述数据并对所述数据进行解析和整合包括：

对于所述指定目录下的所述数据，按行获取行数据，其中所述数据为Json字符串格式；

对于每条行数据：

将所述行数据解析并映射封装成Java对象DataObject，其中DataObject包含Java的HashMap实例a以及用于根据key从实例a中获取相应值的方法function；

从数据平台的Hive数据库获取用于管理要存储的所述数据的hive表的表属性信息，其中，所述表属性信息保存多个键-值对，每个键-值对中的键为hive表的字段名称，对应的值为该字段在Json字符串中的路径信息；

将表属性信息中所保存的每个键-值对中的值分别作为key提供给Java对象DataObject所包含的方法function，并将function返回的值作为相应的键所表示的字段的字段值；

将各字段值以“，”分割开并按照表属性信息中表示相应字段的键出现的先后顺序组合成一个字符串。

4.如权利要求3所述的方法，其特征在于，所述将解析和整合后的所述数据存储到数据平台的数据库中包括：

对于每条行数据：

获取在所述hive表中指定的用于存储应用平台的所述数据的存储位置作为value1；

以“day”作为key提供给DataObject的方法function并将返回的值作为value2；

以“sno”作为key提供给DataObject的方法function并将返回的值作为value3；

组合value1、value2、value3，得到用于该条行数据的数据存储目录；以及

将解析和整合该条行数据所得到的字符串写入到所述数据存储目录下的文件中。

5.如权利要求1所述的方法，其特征在于，在所述对所述数据进行解析和整合之前，所述方法还包括：在数据平台的Hive数据库中建立用于管理应用平台的所述数据的hive表并存储所述hive表的表属性信息。

6.如权利要求3所述的方法，其特征在于，由方法function执行的所述根据key从实例a中获取相应值包括：

以key作为关键词在实例a中进行搜索；以及

将行数据中与所述关键词相匹配的字段所对应的值作为相应值返回。

7.如权利要求6所述的方法，其特征在于，在key是由多个字段通过“-”连接起来而形成的组合字符串的情况下，由方法function执行的所述根据key从实例a中获取相应值包括：

以所述多个字段中的第一字段作为关键词在实例a中进行搜索；

将实例a中与第一字段相匹配的字段所对应的对象返回；

针对所述多个字段中第一字段之后的每个字段，执行：

以该字段作为关键词在上一字段作为关键词时返回的对象中进行搜索；以及

将所搜索到的相匹配的对应对象返回；

直到所述多个字段中的最后一个字段为止，并将以最后一个字段作为关键词时返回的对象作为与所述key对应的相应值。