[发明专利]一种基于多实例协同对抗训练的远程监督关系抽取方法

权利要求书

1.一种基于多实例协同对抗训练的远程监督关系抽取方法，其特征在于，包括以下步骤：

S1：获取由句子实例构成的训练数据，并通过远程监督使其对齐到知识库，将含有相同实体对的句子实例构建成包，每个包中的所有句子实例具有相同的关系标签；

S2：针对S1中构建的每个包，基于多实例学习框架中蕴含的注意力信号，对包内所有句子实例的特征进行加权，获得包级特征并计算交叉熵损失约束，同时根据注意力信号确定潜在的包内噪声实例；

S3：针对S1中构建的每个包，在其包级特征的对抗方向上添加第一扰动向量，使扰动向量添加前后多实例学习框架输出的关系标签变化量最大，再计算在第一扰动向量添加后每个包的局部光滑度约束；

S4：针对S1中构建的每个包，在输入层向每个包内噪声实例添加虚拟对抗方向上的第二扰动向量，使扰动向量添加前后多实例学习框架输出的条件概率变化量最大，再计算第二扰动向量添加后每个包的局部平滑性约束；

S5：对S2中得到的交叉熵损失约束、S3中得到的局部光滑度约束和S4中得到的局部平滑性约束进行加权求和，作为协同多实例协同对抗学习的综合约束；以最小化所述训练数据中所有包的综合约束平均值为目标，利用随机梯度下降对多实例学习框架进行不断优化直至收敛，得到优化后的最终模型参数；

S6：将待预测的句子实例以包的形式输入基于所述最终模型参数的多实例学习框架中，输出包内句子实例的关系标签。

2.如权利要求1所述的基于多实例协同对抗训练的远程监督关系抽取方法，其特征在于，所述S2的具体实现步骤包括：

S21：针对S1中构建的每个包，将每个包内的句子实例分别经过编码器，得到对应的特征向量；再利用多实例学习框架基于包内的关系标签计算出每个句子实例的注意力分数，以句子实例的注意力分数为该句子实例的特征向量权重值，分别对每个包内所有句子实例的特征向量进行加权求和，得到每个包的包级特征；

S22：根据预设的分数阈值，将每个包内注意力分数低于分数阈值的所有句子实例提取为需要额外进行学习的包内噪声实例；

S23：针对每个包，基于其对应的包级特征z和关系标签r，利用交叉熵损失函数约束模型，其中交叉熵损失为：

式中：θ为多实例学习框架的模型参数，为多实例学习框架在模型参数θ和包级特征z下预测得到关系标签为r_j的概率值，r_j为第j个关系标签， M为所述训练数据中关系标签的总数。

3.如权利要求2所述的基于多实例协同对抗训练的远程监督关系抽取方法，其特征在于，所述S3的具体实现步骤包括：

S31：针对S1中构建的每个包，在其包级特征的不同方向上添加扰动向量且扰动向量的长度均等于第一邻域半径，找到添加扰动向量后多实例学习框架输出的关系标签最偏离关系标签r的一个方向，将其作为对抗方向并得到对抗方向上长度等于第一邻域半径的第一扰动向量d_adv；

S32：根据确定的对抗方向上的第一扰动向量d_adv，计算在第一扰动向量添加后每个包的局部光滑度约束LDS_Z(θ)：

其中： 表示多实例学习框架在模型参数θ和添加扰动向量后的包级特征z+d_adv下预测得到关系标签为r的概率值。