[发明专利]一种基于迁移学习的低资源领域分词器训练方法及分词方法

权利要求书

1.一种基于迁移学习的低资源领域分词器训练方法，其步骤包括：

1)在目标领域和各设定领域分别进行训练，生成各领域对应的分词器；

2)利用步骤1)得到的各领域的分词器对目标领域的语料进行分词处理，获得各分词器在该目标领域的语料上每个字x_i的隐层表示；

3)计算步骤2)中获得的各分词器在该目标领域的语料上每个字x_i的隐层表示与目标领域的分词器t在该目标领域的语料上每个字x_i的隐层表示的相关度，然后根据所述相关度得到各领域分词器对字x_i的权重向量；

4)根据步骤3)得到的权重向量对各分词器得到的隐层表示进行加权求和，得到一最终的隐层表示，并以该最终的隐层表示计算字x_i的标签；

5)根据步骤4)得到各字的预测标签与标准结果训练得到该目标领域的分词器。

2.如权利要求1所述的方法，其特征在于，所述权重向量其中，h_i,j为第j个设定领域的分词器j对该目标领域的语料中样例X的字x_i的隐层表示；h_i,t为分词器t对该目标领域的语料中样例X的字x_i的隐层表示；σ²是超参数，Z是归一化参数。

3.如权利要求1所述的方法，其特征在于，所述权重向量其中，e_i,j＝f(W₁[W₂·h_i,h_i,j])；h_i,j代表第j个分词器对该目标领域的语料中样例X的字x_i输出的隐层向量表示，h_i代表m个分词器对该目标领域的语料中样例X的字x_i输出的隐层向量表示的级联结果，W₁和W₂均为待学习参数矩阵，[]代表将两个向量并联起来，e_i,j为权重参数，α_i,j为归一化的权重参数。

4.如权利要求1所述的方法，其特征在于，所述权重向量其中，h_i,j代表第j个分词器对该目标领域的语料中样例X的字x_i输出的隐层向量表示，e_i,j为权重参数，α_i,j为归一化的权重参数。

5.如权利要求1所述的方法，其特征在于，所述权重向量其中，l表示门控网络的第l个递归层，j表示门控网络的第j个节点，W为参数矩阵，[]代表级联操作，表示门控网络的第l个递归层第j个节点的输出，z_N,z_L,z_R,r_L,r_R为门控网络中待学习的门。

6.如权利要求1所述的方法，其特征在于，所述步骤5)的方法为：计算步骤4)得到的预测标签与标准结果间的负对数似然损失，并通过随机优化方法减小负对数似然损失，得到该目标领域的分词器。

7.如权利要求1～6任一所述的方法，其特征在于，所述设定领域为富语料资源领域，所述目标领域为低语料资源领域。

8.一种基于迁移学习的低资源领域分词方法，其步骤包括：

1)在目标领域和各设定领域分别进行训练，生成各领域对应的分词器；

2)利用步骤1)得到的各领域的分词器对目标领域的语料进行分词处理，获得各分词器在该目标领域的语料上每个字x_i的隐层表示；

3)计算步骤2)中获得的各分词器在该目标领域的语料上每个字x_i的隐层表示与目标领域的分词器t在该目标领域的语料上每个字x_i的隐层表示的相关度，然后根据所述相关度得到各领域分词器对字x_i的权重向量；

4)根据步骤3)得到的权重向量对各分词器得到的隐层表示进行加权求和，得到一最终的隐层表示，并以该最终的隐层表示计算字x_i的标签。

9.一种基于迁移学习的低资源领域分词方法，其特征在于，采用权利要求1所述的方法训练得到目标领域的分词器对目标领域的语料进行分词。