[发明专利]一种基于卷积网络在中文分词任务上的领域迁移

权利要求书

1.一种基于卷积网络在中文分词任务上的领域迁移方法，其特征在于，训练中没有标注的目标领域语料数据时，该方法包括：

步骤一、将语料划分为源领域数据和目标领域数据，将含有句子数量较少的领域的数据，通过重复利用，补充到与另一领域句子数量相同；

步骤二、将源领域和目标领域的中文字符，利用相同字典，映射为向量表示，输入的待分词文本即数值化为每个字符向量列连接而成的数值矩阵；

步骤三、将数值矩阵输入特征卷积层提取得到源领域特征表示以及目标领域特征表示；

步骤四、将提取的源领域特征表示输入注意力模块，计算得到权重向量，权重向量点乘提取的源领域特征表示得到加权的源领域特征表示；

步骤五、将加权的源领域特征表示和提取的目标领域特征表示分别作为计算MMD的两个输入，得到MMD计算结果；

步骤六、将提取的源领域特征表示输入分类卷积层得到每一个字符的预测标签概率；

步骤七、将每个字符的标签概率和真实的标签概率输入条件随机场，计算似然概率；

步骤八、损失函数由似然概率的负对数和MMD计算结果加权求和，MMD计算结果作为正则项，由反向传播算法计算更新网络各层权重。

2.如权利要求1所述的方法，其特征在于，训练中含有少量标注的目标领域语料数据时，将步骤六予以替换，替换如下：

步骤六、将提取的源领域特征表示及少量含有真实标签的目标领域特征表示输入分类卷积层得到每一个字符的预测标签概率。

3.如权利要求1所述的方法，其特征在于，非训练情况下，中文分词时，将步骤一到步骤八予以替换，替换如下：

步骤一、将需要分词的目标领域数据作为神经网络的输入；

步骤二、将需要分词的目标领域数据的中文字符，利用与训练过程中相同的字典，映射为向量表示；

步骤三、将向量表示输入特征卷积层，提取得到特征表示；

步骤四、将特征表示输入分类卷积层得到每个字符的预测标签概率；

步骤五、将每个字符的预测标签概率输入维特比算法解码得到最优序列，完成分词。

4.如权利要求1所述的方法，其特征在于，所述步骤二中，将源领域和目标领域的中文字符，利用相同字典，映射为向量表示，包括：

随机初始化的映射字典，采用字嵌入方法，为相同的字符随机初始化相同的稠密向量表示，再将语料数据的每一个中文字符通过映射字典映射为稠密向量表示；

训练好的映射字典，利用词袋模型Skip-Gram或Continuous Bag-of-Words，训练得到包含一定词语信息的向量表示，将语料数据的每一个中文字符通过映射字典映射为稠密向量表示。

5.如权利要求1所述的方法，其特征在于，所述步骤三中，将数值矩阵输入特征卷积层提取得到特征表示，计算如下：

其中，m∈R^d×w为窗口大小为w的卷积核,d与输入矩阵x的行数相同，表示卷积操作，x为数值矩阵或上层特征卷积层的输出，b为偏置项，f为线性整流函数，y是维度为n的向量，向量y即特征卷积层提取得到的特征。

6.如权利要求1所述的方法，其特征在于，所述步骤四中，将提取的源领域特征表示输入注意力模块，计算得到权重向量，权重向量点乘提取的源领域特征表示得到加权的源领域特征表示，计算如下：

其中，k∈R^i×l×d为权重矩阵，i表示输入神经网络句子的数量，l表示输入句子固定长度，d为特征表示的维度，⊙表示点积，y为特征卷积层提取的i个特征表示连接而成，g表示先将点积结果的第二和第三维度进行平均计算，然后做sof tmax计算，即加权的源领域特征表示。

7.如权利要求1所述的方法，其特征在于，所述步骤五中，MMD计算公式如下：

其中，表示MMD计算结果，p,q分别为两个领域数据的分布，n_s表示源领域的数据输入总数，k(·)表示高斯核函数，x^s和x^y分别表示源领域加权特征及目标领域特征y。