[发明专利]数据处理方法及装置

说明书

技术领域

本发明涉及业务支撑领域的数据处理技术，尤其涉及数据处理方法及装置。

背景技术

在信息化社会，信息可以划分为两大类：一类信息能够用数据或统一的结构加以表示，称之为结构化数据，如数字、符号；而另一类信息无法用数字或统一的结构表示，如文本、图片、音频、视频等，称之为非结构化数据。随着网络技术的发展，特别是互联网(Internet)技术的飞快发展，使得非结构化数据的数量日趋增大。

传统的数据处理方法多是针对结构化数据，现有的非结构化数据的处理方法：一种是进行分类存储，例如：按照数据属性进行分类，并存储得到分类数据库；在分析阶段，通过查询各个分类数据库输出分析结果。该方法由于数据的属性在不同语义环境下具有不同的含义，因而脱离应用场景对数据属性进行分类，很容易造成分析结果不准确。另一种是元数据匹配的方法，即动态地将元数据从结果集中抽取出来，然后从大量可用选项中，选择最佳匹配的元数据集。该方法主要针对文本数据，对于音频、视频等非结构化数据不适用。

上述处理非结构化数据的方法，其处理能力有限，且缺乏实际应用场景的支撑，因而应用范围有限。

发明内容

为解决上述技术问题，本发明实施例期望提供一种数据处理方法及装置，适用于结构化数据和非结构化数据，能增强数据处理能力，且能提高符合不同业务应用的处理结果的应用能力。

本发明的技术方案是这样实现的：

本发明实施例提供一种数据处理方法，所述方法包括：

对待处理的源数据按照数据格式进行分类；

将所述分类后的各类数据分别进行预处理转换为文本信息；

对所述文本信息进行处理，并加入预设的业务规则进行判断，筛选出符合业务应用的数据。

上述方案中，所述对所述文本信息进行处理，并加入预设的业务规则进行判断，筛选出符合业务应用的数据，包括：

对所述文本信息进行分词，得到词汇集合；

对所述词汇集合按照所述预设的业务规则进行判断，筛选出符合所述业务规则的词汇；

将所述词汇与预设的知识库进行匹配，得到符合业务应用的数据。

上述方案中，所述将所述词汇与预设的知识库进行匹配，得到符合业务应用的数据之后，所述方法还包括：

根据所述匹配结果修正所述知识库。

上述方案中，所述方法还包括：

将所述词汇加入数据库，所述数据库包括按照所述业务规则进行分类后的词汇及所述词汇与源数据间的映射关系。

上述方案中，所述将所述分类后的各类数据分别进行预处理转换为文本信息包括：

对分类后的视频进行预处理，将所述视频分离成音频和图片，并将分离后的音频和图片转化为文本，建立所述视频和所述文本的转换映射关系；和/或，

对分类后的音频进行预处理，将所述音频转化为文本，建立所述音频和所述文本的转换映射关系；和/或，

对分类后的图片进行预处理，将所述图片转化为文本，建立所述图片和所述文本的转换映射关系。

本发明实施例提供一种数据处理装置，所述装置包括：

分类模块，用于对待处理的源数据按照数据格式进行分类；

转换模块，用于将所述分类后的各类数据分别进行预处理转换为文本信息；

处理模块，用于对所述文本信息进行处理，并加入预设的业务规则进行判断，筛选出符合业务应用的数据。

上述方案中，所述处理模块具体用于：

对所述文本信息进行分词，得到词汇集合；

对所述词汇集合按照所述预设的业务规则进行判断，筛选出符合所述业务规则的词汇；

将所述词汇与预设的知识库进行匹配，得到符合业务应用的数据。

上述方案中，所述装置还包括：

修正模块，用于根据所述匹配结果修正所述知识库。

上述方案中，所述装置还包括：

加载模块，用于将所述词汇加入数据库，所述数据库包括按照所述业务规则进行分类后的词汇及所述词汇与源数据间的映射关系。

上述方案中，所述转换模块具体用于：

对分类后的视频进行预处理，将所述视频分离成音频和图片，并将分离后的音频和图片转化为文本，建立所述视频和所述文本的转换映射关系；和/或，

对分类后的音频进行预处理，将所述音频转化为文本，建立所述音频和所述文本的转换映射关系；和/或，

对分类后的图片进行预处理，将所述图片转化为文本，建立所述图片和所述文本的转换映射关系。