[发明专利]一种面向跨语言知识图谱的汉泰实体对齐方法

权利要求书

1.一种面向跨语言知识图谱的汉泰实体对齐方法，其特征在于，包括如下步骤：

1）双语数据集获取：从Wikidata、YAGO多语言知识库或各大汉泰双语网站中，获取汉泰双语对齐数据集，数据集中都为对齐的汉泰双语句子，且汉语句子中存在的实体可在泰语句子中找到其相对齐的实体；

2）机器翻译模型构建与训练：构建Transformer 翻译模型并将步骤1）中获取的双语数据集，通过构建好的Transformer 翻译模型进行训练，得到训练好的汉泰翻译模型，过程为：

1-2）数据预处理：将步骤1）获取的汉泰双语数据集进行预处理，转换成机器翻译模型训练的标准数据格式，先把双语数据集分为汉语句子文件Ch.txt，泰语句子文件Th.txt，Ch.txt中的每一个句子都对应于Th.txt中的每一个句子；

2-2）分词：汉语数据集采用jieba分词工具进行分词，泰语数据集采用cutkum工具进行分词，词与词之间以一个空格进行分隔；

3-2）构建Transformer 翻译模型：Transformer模型采用Seq2Seq 模型中典型的编码器-解码器即Encoder-Decoder的框架结构，但与Seq2Seq模型不同的是，Transformer的编码器和解码器中没有使用循环神经网络的结构，其编码器和解码器的主要结构如下所述：

1-3-2）编码器：Transformer模型中的编码层由一组相同的层堆叠组成，每个层由多头注意力即Multi-Head Attention和全连接的前馈即Feed-Forward网络这两个子层构成，所述多头注意力在模型中用于实现Self-Attention， Multi-Head Attention机制将输入进行多路线性变换，然后分别计算Attention的结果，并将所有的结果进行拼接，再一次进行线性变换并输出，其中Attention使用的是点积即Dot-Product，在点积后进行了scale的处理，所述全连接的前馈网络会对序列中的每个位置进行相同的计算即Position-wise，全连接的前馈网络采用了两次线性变换中间加以ReLU激活的结构；

2-3-2）解码器：解码器和编码器的结构相类似，只是解码器的层比编码器的层再增加了一个多头注意力的子层，用以实现对编码器输出的Attention；

3-3-2）Transformer翻译模型构建：采用百度的PaddlePaddle、Pytorch或TensorFlow框架进行构建；

4-3-2）模型构建完成后，将步骤2-2）中分词后的数据加载到上述Transformer翻译模型中进行训练，得到训练好的翻译模型即汉泰翻译模型；

3）实体抽取：选取目前开源的汉语实体抽取工具或采用常用的汉语命名实体识别模型抽取出汉语句子中的实体；

4）实体翻译与匹配：实体翻译采用目前常用的翻译软件与Transformer 翻译模型结合使用，具体过程如下：

1-4）首先采用目前常用的翻译软件将步骤3）中抽取的汉语实体NER-A进行翻译，得到翻译后的实体NER1-A，然后和相应的泰语句子进行匹配，若匹配成功，则进行下一个实体对齐，若匹配失败，则转入步骤2-4）；

2-4）将步骤1-4）匹配失败的实体NER-A利用步骤4-3-2）中训练好的汉泰翻译模型进行翻译，得到翻译后的实体NER2-A，再与对应的泰语句子进行匹配，匹配成功，则得到汉语句子中的实体NER-A与泰语句子中相对应的实体NER-B；

3-4）最后，实现对齐的“NER-A：NER-B”，即完成汉泰双语句子中的实体对齐。