[发明专利]一种数据分析方法及相关设备

说明书

本发明实施例公开了一种数据分析方法及相关设备，所述方法包括：获取待处理数据，并根据所述待处理数据的被访问频率将所述待处理数据分类，得到不同类型的子数据，所述子数据包括冷数据、温数据和热数据；基于所述子数据的类型选择目标数据处理方式，得到对应所述冷数据的第一目标数据处理方式、对应所述温数据的第二目标数据处理方式和对应所述热数据的第三目标数据处理方式；根据所述第一目标数据处理方式、所述第二目标数据处理方式和所述第三目标数据处理方式分析所述冷数据、所述温数据和所述热数据得到所述待处理数据的分析结果，所述分析结果包括历史信息、业务统计信息和实时数据。

技术领域

本发明涉及数据管理技术领域，尤其涉及一种数据分析方法及相关设备。

背景技术

在物联网领域，对于某些采集的数据需要永久保存，同时要求这些永久保存的数据，不能影响上层应用的体验和数据查询速度，同时，还要求在海量数据累积过程中，需根据设定的时间段（年，月，日，小时，分）来分别实时的对采集数据进行统计分析，并把按这些时间段分析的结果保存起来。但由于历史累计，数据量很大，可能一张数据表中存在几百亿条记录，面对如此巨大的数量，哪怕通过时间分区的方式进行处理也需要很久，随着时间越久，数据量累计越多，查询时很难保证查询速度。

现有技术中通过套用大数据分析框架组件，例如，hadoop框架组件，spark框架组件，stream框架组件，flink框架组件，但是在套用大数据分析框架时，需要技术人员学习相当程度的专业知识才能驾驭，即，需要技术人员具有特定的专业技能，进而提高了数据处理人员的专业门槛，使得数据分析处理的过程适用范围受到局限，同时，现有的大数据分析框架需要占用大量的服务器资源，提高了数据分析的成本。

发明内容

有鉴于此，本发明提供了一种数据分析方法及相关设备，用于解决现有技术中套用大数据分析框架组件使得数据分析过程具有局限性，数据分析成本较高的问题。

为达上述之一或部分或全部目的或是其他目的，本发明提出一种数据分析方法，包括：获取待处理数据，并根据所述待处理数据的被访问频率将所述待处理数据分类，得到不同类型的子数据，所述子数据包括冷数据、温数据和热数据；

基于所述子数据的类型选择目标数据处理方式，得到对应所述冷数据的第一目标数据处理方式、对应所述温数据的第二目标数据处理方式和对应所述热数据的第三目标数据处理方式；

根据所述第一目标数据处理方式、所述第二目标数据处理方式和所述第三目标数据处理方式分析所述冷数据、所述温数据和所述热数据得到所述待处理数据的分析结果，所述分析结果包括历史信息、统计信息和实时信息。

可选的，所述根据所述待处理数据的被访问频率将所述待处理数据分类，得到不同类型的子数据的步骤，包括：

获取所述待处理数据中的数据字段，并根据所述数据字段的被访问频率计算所述数据字段的热度值；

基于所述热度值得到不同类型的子数据，具体包括：

若所述热度值大于等于第一热度阈值，则所述待处理数据为热数据；

若所述热度值小于第一热度阈值且大于第二热度阈值，则所述待处理数据为温数据；

若所述热度值小于第二热度阈值，则所述待处理数据为冷数据。

可选的，在所述基于所述热度值得到不同类型的子数据的步骤之前，还包括：

获取用户请求信息，所述用户请求信息包括业务场景信息；

基于所述业务场景信息确定所述第一热度阈值和所述第二热度阈值。

可选的，所述根据所述第一目标数据处理方式分析所述冷数据，得到所述待处理数据的分析结果的步骤，包括：

基于所述业务场景信息确定所述业务场景的维度数据；

基于所述维度数据将所述冷数据进行数据分类，得到第一数据和第二数据，所述第一数据存储于ClickHouse，所述第二数据存储于mysql；