[发明专利]一种虚拟化云平台的数据采集方法及系统

说明书

本发明涉及数据采集技术领域，公开了一种虚拟化云平台的数据采集方法，包括以下步骤：步骤S1.在日志单元中收集各类数据发送方的数据，将数据传送至数据处理单元进行配置；步骤S2.在数据处理单元利用通道处理器将配置好的所有数据事件传递给通道选择器和拦截器；步骤S3.通道选择器和拦截器将数据事件传递至对应通道，将数据处理单元匹配通道设为目标通道，并将通道数据复制到通道缓冲区，在通道缓冲区将所有数据传递到数据读取单元；步骤S4.数据读取单元将数据发送至数据处理单元进行处理，将处理后的数据发送给数据采集单元，完成云平台的数据采集。本发明通过对通道选择器和拦截器的巧妙设置，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，具有业务更加稳定的效果。

技术领域

本发明涉及数据采集技术领域，具体地说，是一种虚拟化云平台的数据采集方法及系统，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，业务更加稳定。

背景技术

当前社会已经进入一个企业数据高速膨胀的时代，近几年，每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后，两个技术逐渐融合，数据平台的技术在云计算的助力下，能够支持更复杂的业务发展需求。虚拟化技术是指一台物理机上可以跑多台虚拟机，共享内存、CPU、IO等硬件资源，虚拟机之间在逻辑上是相互隔离的。云平台发展至今主流的平台已成多足鼎立之势，国外云有AWS、Google云、微软云，国内云有阿里云、腾讯云、AWS中国。在云平台的项目中，经常会有统计页面的需求。统计页面由于数据量和运算量较大，因此不同的数据获取计算方法，可能对页面加载的速度有极大的影响，可能加载时间会差10倍以上。在云平台中整个数据采集系统包括监控服务，上传数据服务，数据分类服务，数据处理服务等，将整个系统拆分成多个子模块并行处理任务，通常会有很多生产数据的服务器，这些服务器的数量上百甚至成千上万，小的数据还可以直接从应用程序写入HDFS，但庞大数量的服务器试着将海量数据直接写入HDFS或者HBase集群，会因为多种原因导致重大问题。如专利CN109104458A所公开的技术方案是通过部署数据采集服务器并使数据采集终端与数据采集工具连接来进行数据采集和数据检测的，虽然能够对数据进行检测，但是由于数据量和运算量较大，加载时间很慢。还需要部署数据采集工具，因此数据采集成本也随之增加。

因此，为了解决上述问题，亟需一种技术方案，使用本技术方案在虚拟化云平台上进行数据采集使得整个页面对系统的产生的负担非常小，页面加载速度也非常快，几乎都是秒开。本技术方案还提供了一种高可用的、高可靠的、分布式的海量日志采集、聚合和传输的数据采集系统。本技术方案通过对通道选择器和拦截器的巧妙设置，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，业务更加稳定。

发明内容

本发明的目的在于提供一种虚拟化云平台的数据采集方法及系统，通过对通道选择器和拦截器的巧妙设置，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，具有业务更加稳定的效果。

本发明通过下述技术方案实现：一种虚拟化云平台的数据采集方法，包括以下步骤：

步骤S1.在日志单元中收集各类数据发送方的数据，将数据传送至数据处理单元进行配置；

步骤S2.在数据处理单元利用通道处理器将配置好的所有数据事件传递给通道选择器和拦截器；

步骤S3.通道选择器和拦截器将数据事件传递至对应通道，将数据处理单元匹配通道设为目标通道，并将通道数据复制到通道缓冲区，在通道缓冲区将所有数据传递到数据读取单元；

步骤S4.数据读取单元将数据发送至数据处理单元进行处理，将处理后的数据发送给数据采集单元，完成云平台的数据采集。

为了更好地实现本发明，进一步地，步骤S1包括：

日志单元接收数据，并将接收的数据进行封装后传递给数据处理单元；