[发明专利]数据处理方法及相关装置

说明书

本申请提供了一种数据处理方法及相关装置，首先，获取第一实体数据集，所述第一实体数据集包括N个第一实体和M个实体属性，N、M为正整数；接着，根据所述M个实体属性对应的M个属性标识确定属性序列；然后，根据所述属性序列确定每个第一实体对应的第一特征序列；最后，对所述N个第一特征序列进行聚类处理以得到聚类后的X组第二实体数据集。本申请可以实现对大量数据中的实体基于属性进行自动聚类，并对聚类后得到的簇进行统一的类别标注，从而降低人工标注的难度，大大提高了训练数据的标注效率，节省人力成本。

技术领域

本申请涉及人工智能技术领域，特别是一种数据处理方法及相关装置。

背景技术

知识图谱的概念诞生于2012年，由Google公司首先提出。知识图谱的提出是为了准确地阐述人、事、物之间的关系，最早应用于搜索引擎。知识图谱的组成三要素包括：实体、关系和属性。其中，实体指客观存在并可相互区别的事物，可以是具体的人、事、物，也可以是抽象的概念或联系，在知识图谱中一般以节点表示；关系用来表示不同实体间的某种联系，在知识图谱中一般以边表示；知识图谱中的实体和关系都可以有各自的属性。

一个知识图谱一般需要对包含的实体进行分类，例如分类至常见的人物、地名、作品等，一般可以采用分类模型进行分类，在训练该分类模型时，需要用到大量的训练数据以提高分类模型的分类准确率，而在对大量的原始数据进行标注来得到训练数据时一般采用人工标注，效率十分低下。

发明内容

有鉴于此，本申请提供了一种数据处理方法及相关装置，可以对原始数据自动划分类别得到准确的训练数据，大大提高了知识图谱中实体分类模型的训练效率。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取第一实体数据集，所述第一实体数据集包括N个第一实体和M个实体属性，N、M为正整数；

根据所述M个实体属性对应的M个属性标识确定属性序列；

根据所述属性序列确定每个第一实体对应的第一特征序列，每个第一特征序列包括M个特征标识，所述M个特征标识与所述M个实体属性一一对应，每个特征标识用于表征对应的实体属性是否为实体所具备的实体属性；

对N个第一特征序列进行聚类处理以得到聚类后的X组第二实体数据集，X为正整数，每组第二实体数据集包括至少一个所述第一实体和与所述至少一个第一实体对应的Y个第一实体属性，Y为小于或等于M的自然数，所述每组第二实体数据集对应的类别标签之间相互独立，所述类别标签来自人工输入，所述X组第二实体数据集能够用于对预设分类模型进行训练以得到训练好的实体分类模型。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

识别单元，用于获取第一实体数据集，所述第一实体数据集包括N个第一实体和M个实体属性，N、M为正整数；

第一序列单元，用于根据所述M个实体属性对应的M个属性标识确定属性序列；

第二序列单元，用于根据所述属性序列确定每个第一实体对应的第一特征序列，每个第一特征序列包括M个特征标识，所述M个特征标识与所述M个实体属性一一对应，每个特征标识用于表征对应的实体属性是否为实体所具备的实体属性；

聚类单元，用于对N个第一特征序列进行聚类处理以得到聚类后的X组第二实体数据集，X为正整数，每组第二实体数据集包括至少一个所述第一实体和与所述至少一个第一实体对应的Y个第一实体属性，Y为小于或等于M的自然数，所述每组第二实体数据集对应的类别标签之间相互独立，所述类别标签来自人工输入，所述X组第二实体数据集能够用于对预设分类模型进行训练以得到训练好的实体分类模型。