[发明专利]数据提取模型建立方法及装置

说明书

本申请提供一种数据提取模型建立方法及装置，方法包括：建立包括CRF和CNN的数据提取模型，其中，CRF用于识别实体，CNN用于确定实体对中的两个实体的关系；获取包括多条训练语句的训练样本集，并对该训练样本集中的训练语句进行预处理；通过预处理后的训练样本集对数据提取模型中的CRF和CNN进行并行训练。通过上述设计，可以同时实现实体的识别和实体对的关系提取。

技术领域

本申请涉及机器学习技术领域，具体而言，涉及一种数据提取模型建立方法及装置。

背景技术

传统的命名实体识别以及关系提取模型通常采用先训练实体提取模型，再在该模型的基础上构建关系提取模型的方式实现，这种方式忽略了实体提取模型和关系提取模型之间的相关性，容易导致错误的传播。

发明内容

有鉴于此，本申请的目的在于提供一种数据提取模型建立方法及装置，以至少部分地改善上述问题。

第一方面，本申请实施例提供一种数据提取模型建立方法，所述方法包括：

建立数据提取模型，其中，所述数据提取模型包括用于识别实体的条件随机场CRF以及用于确定实体对中的两个实体的关系类别的CNN；

获取包括多条训练语句的训练样本集，并对所述训练样本集中的训练语句进行预处理；

通过预处理后的所述训练样本集对所述数据提取模型中的所述CRF和所述CNN进行并行训练。

可选地，对所述训练样本集中的训练语句进行预处理，包括：

针对所述训练样本集中包括多个关系类别的训练语句，确定该训练语句包括的关系类别的数量，根据该数量复制该训练语句得到多份训练语句，以使所述多份训练语句与所述多个关系类别一一对应；

分析所述多条训练语句，针对所述多条训练语句中的每一关系类别，统计具有该关系类别的训练语句的数量，并根据统计结果对所述训练样本集中的训练语句进行调整，以均衡所述训练样本集中的训练语句的关系类别；

针对所述训练样本集中包括实体的训练语句，若该实体包括多个单词，则为该多个单词中的第一个单词添加第一标签，为该多个单词中的最后一个单词添加第二标签，为该第一个单词和该最后一个单词之间的单词添加第三标签；若该实体包括一个单词，则为该单词添加第四标签；

针对所述训练样本集中具有实体对的训练语句，将该实体对的关系标签处理为三元组，该三元组包括该实体对中的两个实体各自的位置信息以及相互之间的关系类别；

针对所述训练样本集中的每条训练语句，通过类别字典将该训练语句处理为整型标识形式的目标训练语句；

针对每一目标训练语句，对该目标训练语句进行扩充得到单词数量为第一数量的第一语句，以及字符数量为第二数量的第二语句。

可选地，通过预处理后的所述训练样本集对所述数据提取模型中的所述CRF和所述CNN并行训练，包括：

从预处理对得到的多条目标训练语句中抽取预设数量条目标训练语句，针对抽取的每一目标训练语句，从预设词向量库中检索该目标训练语句对应的第一语句的词向量信息以将该第一语句转换成词向量；通过BiLSM网络对该目标训练语句对应的第二语句进行训练以将该第二语句转换成字符向量；将转换得到的词向量和字符向量拼接成混合特征向量；

通过BiLSM模型对所述混合特征向量进行编码，输出相应的编码信息；

将所述编码信息输入所述CRF，以识别该训练语句中的实体，并为识别出的实体添加实体标签，得到该训练语句的实体标注序列。

可选地，通过预处理后的所述训练样本集对所述数据提取模型中的所述CRF和所述CNN并行训练，还包括：