[发明专利]一种基于互联网的大数据平台

摘要

本发明涉及一种基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；本发明的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。

主权项

一种基于互联网的大数据平台，其特征在于，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层用于实现批量数据的采集；所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；所述应用层用于为用户提供应用软件和搜索网站；所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；所述数据治理层用于对数据进行管理；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输。