[发明专利]对数据集合中的实体数据进行归类的方法和装置

说明书

技术领域

本公开涉及一种对数据集合中的实体数据进行归类的方法和装置。

背景技术

结构化、规范化的数据能够被机器识别，可以广泛应用于信息检索、智能输入、自动校对、自动纠错和对译等方面。

然而，随着互联网的蓬勃发展，互联网上的信息也在急剧膨胀。这些海量的信息中，通常是各类信息混杂在一起，非常不规范，例如很多信息没有进行结构化处理(例如数据没有明确地归类)、或者即使有些信息有一定的结构化处理，但其结构化处理往往不全面，甚至存在混乱等(例如数据归类不统一)，从而造成无法被机器有效地识别和利用。

发明内容

本公开的一个方面提供了一种对数据集合中的实体数据进行归类的方法。所述方法包括：提取任意一个数据集合中的至少一个实体数据，所述实体数据包括所述数据集合中具有独立意义、能够用于指示任意一个对象的词语；确定所述至少一个实体数据中的每一个实体数据所属的实体类别，所述实体类别为预设的实体类别库中的分类类别，其中，所述实体类别库中包括未知类别，用于将无法确定其所属实体类别的实体数据进行归类；当存在被归类为未知类别的第二类实体数据时，根据已确定所属实体类别的第一类实体数据的特征信息训练实体分类模型；通过所述实体分类模型预测确定所述第二类实体数据中的每一个实体数据所属的实体类别。

可选地，当预测后所述第二实体数据中还存在未知类别的实体数据时，所述方法还包括：将所述第一类实体数据、以及第二类实体数据中已预测确定实体类别的实体数据混合得到新的训练数据；根据所述新的训练数据的特征信息，再次训练实体分类模型；通过所述再次训练实体分类模型再次预测确定所述第二实体数据中未知类别的实体数据的实体类型；当所述第二类实体数据中还存在未知类别的实体数据时，重复执行所述混合、再次训练、再次预测确定操作，直到所述第二类实体数据中不存在未知类别的实体数据时分类完成，或者直到对所述第二类实体数据中的未知类别的实体数据的预测结果不再发生变化时放弃继续预测。

可选地，提取任意一个数据集合中的至少一个实体数据，包括提取所述数据集合中的至少一个三元组数据，以及提取出所述至少一个三元组数据的每一个中的实体数据。其中，所述三元组数据包括两个实体数据、以及所述两个实体数据之间的关系谓词，所述关系谓词用于描述所述两个实体数据之间的关系。

可选地，确定所述至少一个实体数据中的每一个实体数据所属的实体类别，包括对于每一个实体数据，通过包括所述实体数据的至少一个三元组数据确定所述实体数据对应的至少一个关系谓词，以及根据所述关系谓词的内容和/或同一关系谓词的出现频次，确定出所述实体数据所属的实体类别。

可选地，所述特征信息包括三元组信息、关系谓词信息、和/或关系谓词频次信息。

本公开的另一方面提供了一种对数据集合中的实体数据进行归类的装置。所述装置包括实体数据提取模块、实体类别确定模块、分类模型训练模块和未知类别预测模块。实体数据提取模块用于提取任意一个数据集合中的至少一个实体数据，所述实体数据包括所述数据集合中具有独立意义、能够用于指示任意一个对象的词语。实体类别确定模块用于确定所述至少一个实体数据中的每一个实体数据所属的实体类别，所述实体类别为预设的实体类别库中的分类类别，其中，所述实体类别库中包括未知类别，用于将无法确定其所属实体类别的实体数据进行归类。分类模型训练模块用于当存在被归类为未知类别的第二类实体数据时，根据已确定所属实体类别的第一类实体数据的特征信息训练实体分类模型。未知类别预测模块用于通过所述实体分类模型预测确定所述第二类实体数据中的每一个实体数据所属的实体类别。

可选地，所述装置还包括混合训练数据生成模块。混合训练数据生成模块用于当预测后所述第二实体数据中还存在未知类别的实体数据时，将所述第一类实体数据、以及第二类实体数据中已预测确定实体类别的实体数据混合得到新的训练数据。分类模型训练模块还用于根据所述新的训练数据的特征信息，再次训练实体分类模型。未知类别预测模块还用于通过所述再次训练实体分类模型再次预测确定所述第二实体数据中未知类别的实体数据的实体类型。

可选地，所述实体数据提取模块包括三元组数据提取子模块和实体数据提取子模块。三元组数据提取子模块用于提取所述数据集合中的至少一个三元组数据，所述三元组数据包括两个实体数据、以及所述两个实体数据之间的关系谓词，所述关系谓词用于描述所述两个实体数据之间的关系。实体数据提取子模块用于提取出所述至少一个三元组数据的每一个中的实体数据。