[发明专利]一站式高性能实时大数据处理方法、系统、装置及介质

说明书

本发明提供一种一站式高性能实时大数据处理方法、系统、装置及介质，包括：获取目标数据，并建立第一数据库，将所述目标数据集中存储于所述第一数据库中；对所述第一数据库中的所有数据进行预处理，并根据数据来源及数据属性，对预处理后的所有数据进行分类存储，得到静态数据及系统数据；根据预设的数据处理列表，对所述静态数据及所述系统数据匹配适应的处理算法；其中，所述处理算法包括：批处理算法及流处理算法；通过所述处理算法对所述静态数据及所述系统数据进行计算，实现数据处理。本发明解决了现有的大数据处理系统存在的处理方式单一，使用范围小，处理性能和实时性较弱，处理精确度和效果差的问题。

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种一站式高性能实时大数据处理方法、系统、装置及介质。

背景技术

大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术，根据数据处理的时效性，大数据处理系统可分为批式大数据和流式大数据两类，其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

现有的大数据处理系统可以分为两类：批处理大数据系统与流处理大数据系统，但目前市场上所使用的两种大数据处理系统在使用过程中仍存在不足，其处理方式单一，性能和实时性较弱，无法所复杂的数据提供精确的处理，处理精确度和效果差。

发明内容

为解决以上现有技术问题，本发明提供一种一站式高性能实时大数据处理方法及系统，解决了现有的大数据处理系统存在的处理方式单一，使用范围小，处理性能和实时性较弱，处理精确度和效果差的问题。

本发明第一方面提供一种一站式高性能实时大数据处理方法，包括：

获取目标数据，并建立第一数据库，将所述目标数据集中存储于所述第一数据库中；

对所述第一数据库中的所有数据进行预处理，并根据数据来源及数据属性，对预处理后的所有数据进行分类存储，得到静态数据及系统数据；

根据预设的数据处理列表，对所述静态数据及所述系统数据匹配适应的处理算法；其中，所述处理算法包括：批处理算法及流处理算法；

通过所述处理算法对所述静态数据及所述系统数据进行计算，实现数据处理。

进一步地，所述获取目标数据，包括：

接入人工录入的目标数据，通过网络爬虫获取目标数据，同步物联网设备的运行数据及查询并获取本地目标数据。

进一步地，所述对所述第一数据库中的所有数据进行预处理，具体地：

对所述第一数据库中的所有数据进行抽取、清洗、转换处理。

进一步地，所述对所述静态数据及所述系统数据匹配适应的处理算法包括：

对所述静态数据匹配批处理算法；

对所述系统数据匹配流处理算法。

本发明第二方面提供一种一站式高性能实时大数据处理系统，包括：

数据获取及存储模块，用于获取目标数据，并建立第一数据库，将所述目标数据集中存储于所述第一数据库中；

数据处理及分类模块，用于对所述第一数据库中的所有数据进行预处理，并根据数据来源及数据属性，对预处理后的所有数据进行分类存储，得到静态数据及系统数据；

算法匹配模块，用于根据预设的数据处理列表，对所述静态数据及所述系统数据匹配适应的处理算法；其中，所述处理算法包括：批处理算法及流处理算法；

计算模块，用于通过所述处理算法对所述静态数据及所述系统数据进行计算，实现数据处理。

进一步地，所述数据获取及存储模块，还用于：