[发明专利]一种存储大数据的方法、装置、设备及存储介质

说明书

本申请公开了一种存储大数据的方法，包括根据数据采集请求采集数据，将采集到的数据按照预设的存储规则存储至文件数据集中，然后分别为数据设置标识信息，将标识信息存储于数据库中，再建立数据和数据库中的标识信息的链接关系。通过数据和数据库中的标识信息的链接关系，在需要查询和提取数据时，能够通过标识信息查找到存储于文件数据集中的对应的数据，使得数据库中只需要存储数据的标识信息，减小了数据库的压力，提高了系统的稳定性。本申请还公开了一种存储大数据的装置、设备及计算机可读存储介质，均具有上述有益效果。

技术领域

本发明涉及数据处理领域，特别涉及一种存储大数据的方法、装置、设备及计算机可读存储介质。

背景技术

近年来，随着工业技术的迅猛发展，在工业生产、测试以及使用过程中产生的数据也越来越多，为了充分利用数据中的有价值信息，通过大数据技术对数据进行有效分析，使得基于大数据分析结果可以优化工业生产，提高工业生产效率及质量，提高数据的工业价值。

但是，在对数据进行分析之前，需要先将采集到的数据进行存储，现有技术是将采集到的数据统一存储于数据库中，由于数据量庞大，存储过程需要消耗时间等待，并且大量的数据给数据库带来存储的压力也比较大，在后续需要查询和提取数据时将由于数据库存储内容量大而导致查询过程比较慢。

因此，如何提供一种高效的存储大数据的方法是本领域技术人员目前需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种存储大数据的方法，能够高效的存储数据，减小数据库的压力；本发明的另一目的是提供一种存储大数据的装置、设备及计算机可读存储介质，均具有上述有益效果。

为解决上述技术问题，本发明提供一种存储大数据的方法，包括：

根据数据采集请求采集数据；

将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息；

将所述标识信息存储于数据库中；

建立所述数据和所述数据库中的所述标识信息的链接关系。

优选地，在所述将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息之后，进一步包括：

提取所述数据的关键词信息；

对应的，所述将所述标识信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息的链接关系具体为：

将所述标识信息和对应数据的关键词信息存储于数据库中；

建立所述数据和所述数据库中的所述标识信息与所述关键词信息的链接关系。

优选地，在所述根据数据采集请求采集数据之后，进一步包括：

根据实际要求对所述数据进行校验，并删除不符合所述实际要求的数据离群点。

优选地，在所述根据数据采集请求采集数据之后，进一步包括：

按照预设格式对所述数据进行格式转换。

优选地，在所述将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息之前，进一步包括：

对所述数据进行数据组合和/或数据清洗和/或数据校验。

优选地，所述数据采集请求具体为根据实际数据采集对象、实际数据分析需求、实际数据存储需要和实际数据产生规模分析得出。

优选地，所述数据采集请求具体为根据预先设置的时间周期得出。

为解决上述技术问题，本发明还提供一种存储大数据的装置，包括：