[发明专利]一种大数据分析系统

摘要

本发明提供了一种大数据分析系统，包括收集分析系统和数据存放系统；所述收集分析系统设置有搜索引擎、第一标记模块、过滤系统、临时数据存放模块、数据输入模块、比对模块、过滤模块、数据采集模块、编译模块、数据库、网络服务器、计算模块、对比模块、storm拓扑结构架构、操作系统、调取模块、广告数据库和客户端；所述搜索引擎为收集分析系统的开始端口；所述第一标记模块设置在搜索引擎数据的输出线路上；本发明公布的搜索引擎便于使用者输入关键词，进行相关信息搜索；数据采集模块将搜索的关键词收集起来，便于后续处理；编译模块将收集的数据转换为计算机语言，便于计算机系统进行处理；每个数据库用于对应存放标记有不同符号的数据。

主权项

一种大数据分析系统，包括收集分析系统和数据存放系统；其特征于，所述收集分析系统设置有搜索引擎、第一标记模块、过滤系统、临时数据存放模块、数据输入模块、比对模块、过滤模块、数据采集模块、编译模块、数据库、网络服务器、计算模块、对比模块、storm拓扑结构架构、操作系统、调取模块、广告数据库和客户端；所述搜索引擎为收集分析系统的开始端口，搜索引擎便于使用者输入关键词，进行相关信息搜索；所述第一标记模块设置在搜索引擎数据的输出线路上，第一标记模块用于将每个网络IP地址输出的数据标记一个特别的符号；所述过滤系统设置在第一标记模块的数据输出端，过滤系统用于阻碍个人搜索时搜索的不良信息数据；所述临时数据存放模块连接着第一标记模块的数据输出端，临时数据存放模块用于短暂存放通过的数据，便于对数据进行分析；所述数据输入模块设置在过滤系统的输入端口，数据输入模块便于工作人员提前输入需要过滤的不良信息数据；所述比对模块连接在临时数据存放模块和数据输入模块之间，比对模块用于将临时数据存放模块和数据输入模块中的数据进行对比，从而标记出临时数据存放模块中的不良信息数据；所述过滤模块设置在比对模块的数据输出端口处且过滤模块的输出端连接着数据采集模块，过滤模块用于将比对模块中标记的不良信息数据过滤掉，避免后续数据分析产生问题；所述数据采集模块设置在第一标记模块的数据输出端口处，数据采集模块将搜索的关键词收集起来，便于后续处理；所述编译模块设置在数据采集模块的数据输出端口处，编译模块将收集的数据转换为计算机语言，便于计算机系统进行处理；所述数据库的数量对应于网络IP地址的数量，处于编译模块的数据输出端口处，每个数据库用于对应存放标记有不同符号的数据；所述数据库选择为Mysql数据库，Mysql数据库开放性强，便于工作人员随时修改数据库内的数据，避免不良信息过多；所述网络服务器设置在数据库之间，网络服务器用于将各个数据库联系在一起，便于将各个数据库的数据汇集处理，再反馈到每个数据库中，节约处理时间；所述网络服务器为Apache服务器，Apache服务器易于外界对数据库进行访问操作，便于管理者对数据库中的数据进行其他方面的使用；所述计算模块设置在网络服务器的数据输出端口处，计算模块采用平均值计算规则，将关键词出现的次数除以对应天数，得到数值，公式为L＝N/T,其中L为比值数字，N为关键词出现次数，T为从第一次出现后过的天数；所述对比模块设置在计算模块的数据输出端口，对比模块用于对比每种标记的各个关键词的计算比值，输出最大比值的关键词；所述storm拓扑结构架构设置在对比模块的数据输出端口处，storm拓扑结构架构用于矫正对比模块在对比数据过程中发生错误，对其进行矫正；所述操作系统设置在网络服务器的另一个数据输出端口处，操作系统用于从各个数据库中调取处理过后的数据；所述操作系统选择为Linux系统，Linux系统便于不同客户以各自的访问权限访问，互不影响；所述调取模块设置在操作系统的输出端口处，调取模块根据操作系统中提取出的数据调取相关的广告，发送至相对应的网络IP地址，实现人性化的广告推送；所述广告数据库与调取模块相连通，广告数据库便于调取模块调取相对应的广告；所述客户端设置在调取模块的数据输出端口处，一个网络IP地址对应一个客户端，便于每个客户端得到相应的广告推送；所述；所述数据存放系统设置有数据库、第二标记模块、第一存储模块、第二存储模块和累加模块；所述第二标记模块设置在每个数据库的网络服务器反馈端口，第二标记模块将处理过的数据再次标记一次，便于与数据库内未处理的数据分开；所述第一存储模块设置在每个数据库内，第一存储模块用于存放未处理的数据；所述第二存储模块设置在每个数据库内，第二存储模块用于存放已处理过的数据；所述累加模块设置在第一存储模块处，累加模块用于计数关键词出现的次数，并且每过二十四小时，为公式L＝N/T中的天数T加一，提供数据分析的准确度。