[发明专利]用于数据处理的方法和装置

权利要求书

1.一种用于利用数据转换层进行数据处理的方法，包括：

从数据处理器接收数据加载请求；

响应于接收到所述数据加载请求，从数据存储器获取所请求的原始数据；

响应于所述原始数据是非结构化数据，利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据；以及

向所述数据处理器发送所述文本数据。

2.根据权利要求1所述的方法，其中所述数据转换层位于所述数据处理器和所述数据存储器之间，并且所述数据转换层隐藏从所述非结构化数据到所述文本数据的转换细节。

3.根据权利要求1所述的方法，还包括：

响应于所述原始数据是结构化数据，向所述数据处理器发送所述原始数据。

4.根据权利要求3所述的方法，其中所述结构化数据包括纯文本数据。

5.根据权利要求1所述的方法，其中所述非结构化数据包括富文本格式数据和多媒体数据中的至少一种。

6.根据权利要求1所述的方法，其中从数据处理器接收数据加载请求包括：

经由数据访问接口从所述数据处理器接收所述数据加载请求，

其中所述数据访问接口对于结构化数据和非结构化数据两者是统一的。

7.根据权利要求1所述的方法，其中所述数据存储器为Hadoop分布式文件系统，并且

其中从数据存储器获取所请求的原始数据包括：

从所述Hadoop分布式文件系统的名字节点获取所述原始数 据的文件块所处的位置；以及

从与所述位置相对应的数据节点获取所述文件块。

8.根据权利要求1所述的方法，其中所述原始数据的文件类型包括用户自定义文件类型，并且

其中利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据包括：

利用与所述用户自定义文件类型相关联的、用户自定义文本提取器，从所述原始数据中提取所述文本数据。

9.根据权利要求1所述的方法，其中利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据包括：

利用所述文本提取器从所述原始数据中实时地提取所述文本数据。

10.一种用于数据处理的装置，包括：

请求接收模块，被配置为从数据处理器接收数据加载请求；

数据获取模块，被配置为响应于接收到所述数据加载请求，从数据存储器获取所请求的原始数据；

文本提取模块，被配置为响应于所述原始数据是非结构化数据，利用与所述原始数据的文件类型相关联的文本提取器从所述原始数据中提取相应的文本数据；以及

第一发送模块，被配置为向所述数据处理器发送所述文本数据。

11.根据权利要求10所述的方法，其中所述装置位于所述数据处理器和所述数据存储器之间，并且所述装置隐藏从所述非结构化数据到所述文本数据的转换细节。

12.根据权利要求10所述的装置，还包括：

第二发送模块，被配置为响应于所述原始数据是结构化数据，向所述数据处理器发送所述原始数据。

13.根据权利要求12所述的装置，其中所述结构化数据包括纯文本数据。

14.根据权利要求10所述的装置，其中所述非结构化数据包括富文本格式数据和多媒体数据中的至少一种。

15.根据权利要求10所述的装置，其中所述请求接收模块还被配置为：

经由数据访问接口从所述数据处理器接收所述数据加载请求，

其中所述数据访问接口对于结构化数据和非结构化数据两者是统一的。

16.根据权利要求10所述的装置，其中所述数据存储器为Hadoop分布式文件系统，并且

其中所述数据获取模块还被配置为：

从所述Hadoop分布式文件系统的名字节点获取所述原始数据的文件块所处的位置；以及

从与所述位置相对应的数据节点获取所述文件块。