[发明专利]一种基于Map/Reduce的非结构化数据的处理方法和装置

说明书

本发明提供了一种基于Map/Reduce的非结构化数据的处理方法和装置，涉及云计算和分布式数据系统技术领域。该方法包括：预先创建非结构化数据的对象代理；建立对象代理、数据文件以及序列化处理节点的映射关系；生成基于对象代理的Key‑Value对集，通过Map/Reduce计算框架将Key‑Value对集进行分割，使得每个计算节点得到相应的Key‑Value对集序列；通过Key‑Value对集中的对象代理和映射关系，确定各对象对应的序列化处理节点；通过序列化处理节点对各对象进行动态序列化处理，生成各对象的数据实体；通过计算节点对各数据实体进行反序列化处理，重构各内存对象，以对内存对象进行后续计算处理。

技术领域

本发明涉及云计算和分布式数据系统技术领域，尤其涉及一种基于Map/Reduce的非结构化数据的处理方法和装置。

背景技术

目前，利用云计算平台进行大量数据计算的主要方式是基于Map/Reduce框架的分布式并行计算。Map/Reduce是一种编程模型。通过基于Map/Reduce框架的分布式并行计算可以驱动成千上万的计算节点，快速完成非常巨大数据量的计算任务。Map/Reduce框架非常适合云计算环境，它将巨大的数据集分割成许多子集，各个计算节点只负责分配给其的子集的计算，然后将子集计算结果进行合并计算，得到最终结果，整个计算的效率非常高，每个节点承担的计算压力都是可控的，系统横向扩展能力极强。

Map/Reduce框架的核心是数据的子集分割，现有的Map/Reduce框架实现是基于分布式文件系统的，数据按照文件系统或建立在之上的数据库系统进行分割，一般都是物理分割方式。这种数据的组织方式非常适合结构化或半结构数据，每个结构化数据或半结构化数据记录的结构比较单一，数据解译简单且数据量较小，Map/Reduce框架可以支持非常巨量的结构化数据或半结构化数据的记录集投入计算，当前有很多数据系统已经部署Map/Reduce框架来进行结构化数据处理。

但是，当前的数据中总量最大的并非易于组织的结构化数据，而是大量的非结构化数据，或者称为复杂结构数据，例如图像、视频、地理信息数据、遥感影像数据、科学计算数据等。这些非结构化数据，从面向对象的角度分析，是由许多不同类型的对象组成的，在使用非结构化数据时，需要构建一系列的内存对象，通过复杂的数据解译过程，将数据读取到内存，来进行后续计算。然而，对于非结构化数据的整个数据解译过程是非常耗时的，如果将解译计算过程直接纳入到Map/Reduce框架，则系统承受的压力非常巨大，同时，简单的物理分割不能得到有效的数据子集，因此当前难以通过Map/Reduce框架进行非结构化数据处理。

发明内容

本发明的实施例提供一种基于Map/Reduce的非结构化数据的处理方法和装置，以解决当前难以基于Map/Reduce框架进行非结构化数据处理的问题。

为达到上述目的，本发明采用如下技术方案：

一种基于Map/Reduce的非结构化数据的处理方法，包括：

预先创建非结构化数据的对象代理；所述非结构化数据由一个或多个对象组成，所述对象代理用于描述非结构化数据中的对象；

建立对象代理、数据文件以及序列化处理节点的映射关系；

生成基于对象代理的Key-Value对集，通过Map/Reduce计算框架将所述Key-Value对集进行分割，使得每个计算节点得到相应的Key-Value对集序列；

通过Key-Value对集的对象代理和映射关系，确定各对象对应的序列化处理节点；

通过所述序列化处理节点对各对象进行序列化处理，生成各对象的数据实体；

通过所述计算节点对各数据实体进行反序列化处理，重构各内存对象，以对所述内存对象进行计算处理。