[发明专利]一种基于大数据的运维平台远程数据采集系统

说明书

本发明公开了一种基于大数据的运维平台远程数据采集系统，包括意向录入单元、对象检索单元、可信分析单元、数据滤除单元、准入核实单元、身份验证单元、身份库、控制器、显示单元、存储单元和管理单元；所述意向录入单元用于录入目标要求数据，目标要求数据即为用户所需采集的数据要求，该数据要求包括数据方向、关键词和内容简介；本发明首先借助相关的对象检索单元获取到大量跟用户目标相关的数据，之后借助可信分析单元用于对相关数据进行可信分析处理，得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj，之后传输到数据滤除单元。

技术领域

本发明属于数据采集领域，涉及远程采集技术，具体是一种基于大数据的运维平台远程数据采集系统。

背景技术

公开号为CN106027523A的专利公开一种数据采集方法和分布式数据系统，该方法包括：管理数据中心与远程终端相互分享各自的分享密钥，接收远程终端发送的第一随机数，并将自行生成的第二随机数发送给远程终端；管理数据中心根据分享密钥、第一随机数、第二随机数和预存的第一签名信息，生成第一校验值；管理数据中心将第一校验值发送至远程终端，以供远程终端验证第一校验值，并且接收远程终端的第二校验值；当校验第一校验值和第二校验值成功，且接收到远程终端发送的校验成功信号时，管理数据中心将采集远程终端上传目标数据的数据采集任务平均分配给各个辅助数据中心执行。本发明避免出现目标数据错发至非法终端或采集非法目标数据的现象，提高了目标数据信息安全。

但是，其对数据进行采集，仅仅通过相关方式验证用户身份，是否存在错误，或者信息安全出现错误的问题；而缺乏一种能够自主的根据用户需要，进行自主采集数据的，并会根据用户身份，对数据进行不同程度的筛选。为了解决这一缺陷，现提供一种解决方案。

发明内容

本发明的目的在于提供一种基于大数据的运维平台远程数据采集系统。

本发明的目的可以通过以下技术方案实现：

一种基于大数据的运维平台远程数据采集系统，包括意向录入单元、对象检索单元、可信分析单元、数据滤除单元、准入核实单元、身份验证单元、身份库、控制器、显示单元、存储单元和管理单元；

其中，所述意向录入单元用于录入目标要求数据，目标要求数据即为用户所需采集的数据要求，该数据要求包括数据方向、关键词和内容简介；所述意向录入单元用于将目标要求数据传输到对象检索单元，所述对象检索单元接收意向录入单元传输的目标要求数据，并根据目标要求数据自主获取到所有的相关数据，相关数据即为所有的出现过关键词的数据；所述对象检索单元用于将获取到的相关数据传输到可信分析单元，所述可信分析单元用于对相关数据进行可信分析处理，得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj；

所述可信分析单元用于将相关数据的复量值Fj、被引用次数Yj和隔差时间Gj传输到数据滤除单元，所述数据滤除单元内置有滤除规则；

所述准入核实单元用于让用户上传身份信息，身份信息包括身份标识、密码和间隔时间，间隔时间为用户录入每一个密码之间的间隔时间；

所述准入核实单元用于将身份信息传输到身份验证单元，所述身份验证单元接收准入核实单元传输的身份信息，并对其进行验证处理，根据处理过程产生通过信号和勉通信号；

所述身份验证单元用于将用户及其对应的通过信号和勉通信号传输到数据滤除单元，所述数据滤除单元接收可信分析单元传输的用户及其对应的通过信号和勉通信号，并结合滤除规则、复量值Fj、被引用次数Yj和隔差时间Gj对相关数据进行滤除处理，具体滤除处理步骤为：

SS1：首先获取到相关数据及其对应的复量值Fj、被引用次数Yj和隔差时间Gj；

SS2：利用公式计算相关数据的可取值Kq，具体计算公式为：

Kq＝0.411*Fj+0.356*Yj+0.233*Gj；