[发明专利]一种跨语种实体标注方法、装置、设备及存储介质

权利要求书

1.一种跨语种实体标注方法，其特征在于，包括：

获取标注出实体词的源语种文本和对应的目标语种文本；

根据所述源语种文本和所述目标语种文本，获取正样例集、负样例集和候选数据集，其中，所述正样例集中的每个正样例表征所述源语种文本中的一个实体词，所述负样例集中的每个负样例表征所述源语种文本中的一个非实体词，所述候选数据集中的每个候选数据表征所述目标语种文本中的一个候选实体词；

通过将所述候选数据集中的候选数据与所述正样例集中的正样例和所述负样例集中的负样例匹配，从所述候选数据集中的候选数据所表征的候选实体词中确定出实体词，并对确定出的实体词进行标注。

2.根据权利要求1所述的跨语种实体标注方法，其特征在于，所述根据所述待处理文本获取正样例集、负样例集和候选数据集，包括：

将所述源语种文本与所述目标语种文本拼接，拼接后的文本作为待处理文本，并基于预先建立的实体标注模型和所述待处理文本，获取正样例集、负样例集和候选数据集；

所述通过将所述候选数据集中的候选数据与所述正样例集中的正样例和所述负样例集中的负样例匹配，从所述候选数据集中的候选数据所表征的候选实体词中确定出实体词，包括：

利用所述实体标注模型，将所述候选数据集中的候选数据与所述正样例集中的正样例和所述负样例集中的负样例匹配，并根据匹配结果从所述候选数据集中的候选数据所表征的候选实体词中确定出实体词；

其中，所述实体标注模型采用训练数据集中的训练数据训练得到，每条训练数据由一标注出实体词的源语种训练文本与对应的目标语种训练文本拼接而成。

3.根据权利要求2所述的跨语种实体标注方法，其特征在于，所述基于预先建立的实体标注模型和所述待处理文本，获取正样例集、负样例集和候选数据集，包括：

利用所述实体标注模型对所述待处理文本进行编码，得到所述待处理文本的句向量；

利用所述实体标注模型从所述待处理文本的句向量中获取所述源语种文本的句向量和所述目标语种文本的句向量；

基于所述实体标注模型和所述源语种文本的句向量，获取正样例集和负样例集；

基于所述实体标注模型和所述目标语种文本的句向量，获取候选数据集。

4.根据权利要求3所述的跨语种实体标注方法，其特征在于，所述基于所述实体标注模型和所述源语种文本的句向量，获取正样例集和负样例集，包括：

利用所述实体标注模型从所述源语种文本的句向量中获取所述源语种文本中每个实体词的表征向量和上下文向量，根据获取的每个实体词的表征向量和上下文向量获得正样例集；

利用所述实体标注模型从所述源语种文本的句向量中获取所述源语种文本中至少部分非实体词的表征向量，根据获取的每个非实体词的表征向量获得负样例集。

5.根据权利要求4所述的跨语种实体标注方法，其特征在于，所述根据获取的每个实体词的表征向量和上下文向量获得正样例集，包括：

将获取的每个实体词的表征向量与对应的上下文向量拼接，获得每个实体词对应的拼接向量，将每个实体词对应的拼接向量处理成字符级向量，作为正样例，由获得的所有正样例组成正样例集；

所述根据获取的每个非实体词的表征向量获得负样例集，包括：

将获取的每个非实体词的表征向量处理成字符级向量，作为负样例，由获得的所有负样例组成负样例集。

6.根据权利要求3所述的跨语种实体标注方法，其特征在于，所述基于所述实体标注模型和所述目标语种文本的句向量，获取候选数据集，包括：

利用所述实体标注模型从所述目标语种文本的句向量中获取所述目标语种文本中候选实体词的表征向量，组成候选数据集；

其中，所述候选数据集中的一个候选数据为所述目标语种文本中一个候选词的表征向量，所述目标语种文本中的候选实体词基于预设的多种词长从所述目标语种文本中采样得到。