[发明专利]一种用于大数据的数据挖掘方法和装置

说明书

本发明提供了一种用于大数据的数据挖掘方法，包括如下步骤：对文本数据库内容当中的每一条语句进行分词；对分词后的字、词及词组是否属于实体进行识别；然后对分词后的字、词及词组进行语义标注分析；对文本数据库内容进行句法分析；根据句法分析结果生成完整结构化数据库；将完整结构化数据库分割为不同的子数据库；根据具体的挖掘目标，选择相应的子数据库、子数据库的组合或者完整结构化数据库进行挖掘分析。本发明的方法可以提高数据挖掘的效率。本发明还提供了一种用于大数据的数据挖掘装置。

技术领域

本发明涉及计算机信息处理技术领域，更具体的说，涉及一种用于大数据的数据挖掘方法和装置。

背景技术

目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，从海量数据记录中有效地挖掘出不同类别的对象以便针对不同类别的对象实施不同的处理方案变的越来越重要。

然而，现有的技术方案存在如下问题：由于挖掘时要处理整个数据库，所需时间较长，数据挖掘的效率较低。

发明内容

本发明所要解决的技术问题在于提供一种用于大数据的数据挖掘方法，用于提高数据挖掘的效率。

为达到以上目的，根据本发明的一个方面，提供了一种用于大数据的数据挖掘方法，包括如下步骤：

步骤101：对文本数据库内容当中的每一条语句进行分词；

步骤102：对步骤101所述分词后的字、词及词组是否属于实体进行识别；

步骤103：对步骤101所述分词后的字、词及词组进行语义标注分析；

步骤104：对文本数据库内容进行句法分析；

步骤105：根据句法分析结果生成完整结构化数据库；

步骤106：将完整结构化数据库分割为不同的子数据库；

步骤107：根据具体的挖掘目标，选择相应的子数据库、子数据库的组合或者完整结构化数据库进行挖掘分析。

优选的，在步骤103中，语义标注之后对实体识别后的词进行统计和分类，并用分类标记该语句。

进一步的，分类标注时可以考虑潜在挖掘目标，同时限制一条语句的分类标记的数量。

优选的，在步骤105中，生成语句结构固定的完整结构化数据库，并在生成完整结构化数据库时，保存每个语句的分类标记，同时对分类标记进行统计。

优选的,在步骤106中，根据语句分类标记的统计结果或者常用的挖掘目标，将完整结构化数据库分割为不同的子数据库，并赋予子数据库以索引，其索引以语句分类标记或挖掘目标为主。

进一步的，分割子数据库时，使标记相似的语句放入同一个子数据库中，不同的子数据库之间相似度尽量小，其中：

计算语句之间相似度的公式为：

或者：

其中，前式适合大规模数据的初步估算，sim()为相似度计算函数，d1，d2为语句，α为分类标记的粒度，L(d1)为结构化数据库中的d1语句的分类标记个数，其值与L(d2)相等，L(d1∩d2)为语句d1和语句d2中的相同的分类标记的数目，n1和n2为可调节系数，其值大于0。

计算语句与子数据库之间相似度的计算公式为：

或者：