[发明专利]用于数据处理的方法和装置

说明书

技术领域

本公开的实施例总体涉及数据处理，更具体地，涉及一种用于数据处理的方法和装置。

背景技术

当前，企业通常构建数据湖以持有其大量的数据，这些数据通常包括结构化数据和非结构化数据两者。例如，结构化数据可以包括纯文本文件、JavaScript对象符号(JSON)文件、逗号分隔值(CSV)文件、数据库文件和目标文件等。非结构化数据通常可以包括富文本格式文件和多媒体文件，富文本格式(RTF)文件诸如Word文档、可移植文档格式(PDF)文档和演示文档等，多媒体文件诸如音频文件和视频文件等。针对这两种类型的数据的数据处理和分析流程通常是不同的。当前，流行的大数据处理框架，诸如Hadoop、Spark、Hive、多物理分区(MPP)数据库等，能够直接且容易地分析诸如纯文本数据的结构化数据。然而，对于非结构化数据而言，通常需要首先离线地从这些文件中提取并存储其中包含的文本数据，然后基于所提取的文本数据来对其进行处理。

由于针对结构化数据和非结构化数据的不同处理流程，处理和分析大量的企业数据将存在若干挑战。首先，难以进行结构化数据和非结构化数据之间的关联分析，其需要先对非结构化数据进行复杂的抽取-转换-加载(ETL)等操作后才可进行；其次，由于需要首先从非结构化数据中离线提取并存储其中包含的文本数据，可能带来数据不一致的问题并且将会耗费更多存储空间。

因此，本领域中需要一种更为有效的方案以解决上述问题。

发明内容

本公开的实施例旨在提供一种用于数据处理的方法和装置，以解决上述问题。

根据本公开的一个方面，提供了一种用于利用数据转换层进行数据处理的方法，包括：从数据处理器接收数据加载请求；响应于接收到所述数据加载请求，从数据存储器获取所请求的原始数据；响应于所述原始数据是非结构化数据，利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据；以及向所述数据处理器发送所述文本数据。

在一些实施例中，所述数据转换层位于所述数据处理器和所述数据存储器之间，并且所述数据转换层隐藏从所述非结构化数据到所述文本数据的转换细节。

在一些实施例中，所述方法还包括：响应于所述原始数据是结构化数据，向所述数据处理器发送所述原始数据。

在一些实施例中，所述结构化数据包括纯文本数据。

在一些实施例中，所述非结构化数据包括富文本格式数据和多媒体数据中的至少一种。

在一些实施例中，从数据处理器接收数据加载请求包括：经由数据访问接口从所述数据处理器接收所述数据加载请求，其中所述数据访问接口对于结构化数据和非结构化数据两者是统一的。

在一些实施例中，其中所述数据存储器为Hadoop分布式文件系统，并且其中从数据存储器获取所请求的原始数据包括：从所述Hadoop分布式文件系统的名字节点获取所述原始数据的文件块所处的位置；以及从与所述位置相对应的数据节点获取所述文件块。

在一些实施例中，所述原始数据的文件类型包括用户自定义文件类型，并且其中利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据包括：利用与所述用户自定义文件类型相关联的、用户自定义文本提取器，从所述原始数据中提取所述文本数据。

在一些实施例中，利用与所述原始数据的文件类型相关联的文本 提取器从所述原始数据中提取相应的文本数据包括：利用所述文本提取器从所述原始数据中实时地提取所述文本数据。

根据本公开的另一方面，提供了一种用于数据处理的装置，包括：请求接收模块，被配置为从数据处理器接收数据加载请求；数据获取模块，被配置为响应于接收到所述数据加载请求，从数据存储器获取所请求的原始数据；文本提取模块，被配置为响应于所述原始数据是非结构化数据，利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据；以及第一发送模块，被配置为向所述数据处理器发送所述文本数据。

在一些实施例中，所述装置位于所述数据处理器和所述数据存储器之间，并且所述装置隐藏从所述非结构化数据到所述文本数据的转换细节。

在一些实施例中，所述装置还包括第二发送模块，被配置为响应于所述原始数据是结构化数据，向所述数据处理器发送所述原始数据。

在一些实施例中，所述结构化数据包括纯文本数据。

在一些实施例中，所述非结构化数据包括富文本格式数据和多媒体数据中的至少一种。