[发明专利]一种大数据虚拟化操作方法

说明书

本发明公开了一种大数据虚拟化操作方法，包括以下步骤：1)基础设施虚拟化，2)虚拟机实例化，3)安装Eucalyptus，4)建立服务层，5)处理关系型数据库中的海量数据，6)流程化操作。本发明利用云计算虚拟化和大数据技术，整合基础设施资源，为平台提供便于统一管理、具备高可扩展性的计算和存储能力；为解决数据挖掘算法的可扩展性，使用多种设计模式优化接口设计，表示层的参数配置界面和S‑PLUS语言分析数据的逻辑松耦合；将垂直扩展的关系型数据库转变为水平扩展的分布型数据库，从而缓解数据暴增问题。

技术领域

本发明属于数据技术领域，特别涉及一种大数据虚拟化操作方法。

背景技术

近年来，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方 式。业界通常用4个V来概括大数据的特征。一是数据体量巨大(Volume)。从TB 级别，跃升到PB级别。二是数据类型繁多(Variety)。这种类型的多样性也让数 据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构 化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置 信息等，这些多类型的数据对数据的处理能力提出了更高要求。三是价值密度低 (Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的 视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器 算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根 据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。 在如此海量的数据面前，处理数据的效率就是企业的生命。

同时，世界上越来越多的国家开始从战略层面认识大数据，在政府治理领 域融入大数据思维和技术。由于政府数据的敏感性，对网络及数据的安全性也具 有更高的要求。为了处理快速增加的数据，需要配套的硬件环境满足大数据处理 的需要。用于存储及应用大数据的网络架构需要适应大数据的特征。现有技术中 有多种大数据存储系统，通常采用SAN以及光纤交换机的方式，价格十分昂贵。 以Hadoop为代表的云存储技术采用大量廉价服务器来构成海量存储容量，与SAN 相比大大降低了成本，但每台存储设备依然需要配备相应的存储服务器，对网络 带宽要求也很高，往往需要用昂贵的网络设备，而且Name Node依然存在单点故 障风险，成本、性能和可靠性仍然不够理想。

为此，需要提供一种高性能、低成本的能存储大数据的大数据存储装置。

发明内容

本发明提供了一种大数据存储架构，以提供一种高性能、低投入、高可靠性 的大数据虚拟化操作方法。

本发明的具体技术方案是：一种大数据虚拟化操作方法，包括以下步骤：

1)基础设施虚拟化；采用虚拟化技术将设施虚拟化，包括物理层的服务器 虚拟化、存储虚拟化和网络虚拟化，形成虚拟化层；建立计算虚拟化池和存储虚 拟化池；所述计算虚拟化池用于实现计算资源层面的虚拟化，所述存储虚拟化池 用于实现存储数据虚拟化；

2)虚拟机实例化；包括以下步骤：

(1)选择虚拟机并定制化；

(2)保存定制化参数文件；

(3)选择部署的目标物理机服务器；

(4)拷贝虚拟机的相关文件；

(5)在目标机上启动部署后的虚拟机；

3)开源云计算解决方案，安装Eucalyptus；使用Eucalyptus作为基础，搭 建虚拟机集群，用户安装云计算平台，包含以下步骤：

(1)安装Linux操作系统

(2)配置Yum安装源；

(3)配置安装脚本；