[发明专利]一种基于增强学习的关系抽取方法

权利要求书

1.一种基于增强学习的关系抽取方法，其特征在于，包括：

步骤10)构建强化学习的关系抽取框架；所述关系抽取框架包括基于DNN模型的关系抽取模型、用于表示关系的人类知识形式的软规则和含有查询问题的关系证据、外部的知识源和智能体；

步骤20)获取所述基于DNN模型的关系抽取模型的抽取结果；

步骤30)所述智能体在强化学习环境中，利用所述软规则和所述关系证据，对所述抽取结果进行动态调整；

所述强化学习环境包括：

(a)设定状态信息：将状态信息表示为实值向量，每个状态信息包含：

表示提取出的句子，在训练期间，它来自于从中抽样的实例(sen，l)；表示句子向量所处的空间，即由句子中的单词与两个位置标识符组成；

表示综合的关系抽取结果，为一组概率分布，并在MDP开始时使用基于DNN的模型进行初始化；表示关系抽取结果所处的状态空间，即一个不超过关系总数的整数；

表示当前框架正在应用人类知识来辅助分类的关系；

表示指示句子是否与某个关系的软规则相匹配；

表示每种关系已发现的关系证据数量；

表示已经运用人类知识的总步数；

表示当前关系上已经运用人类知识的总步数；

(b)在上定义行为：

NextRel表示移动到下一个关系，并将句子与其软规则匹配；

NextQue表示继续对当前关系搜索证据；

Stop表示结束MDP；

(c)定义奖励：

奖励函数用来在保证消耗的时间最小的同时，使关系抽取的性能最大化；奖励函数定义如下：

r_t+1＝P_t+1(l|sen)-P_t(l|sen)-δ

其中，P_t(l|sen)是在时间t时在正确标签上的概率值，负奖励δ用于惩罚智能体消耗了更多的资源；P_t+1(l|sen)是在时间t+1时在正确标签上的概率值；

(d)状态转移

智能体的每一段经历以一个句子sen开始；P(re|sen)使用基于DNN的关系抽取模型得到的结果P′(re|sen)来初始化，CurRel、IndOfRules、EviNum、TotalSteps和CurRelSteps用零或者零向量来初始化；转移具体是指所述变量的更新；状态转移函数T(s_t+1|s_t，a_t)的定义如下：

无论采取什么动作，TotalSteps←TotalSteps+1。即所采取的总步数增加1，对应上一节中的负奖励δ；

假如采取了NextRel操作，CurRelSteps←1，即重置当前关系上消耗的步数；

假如采取了NextQue操作，CurRelSteps←CurRelSteps+1，即在当前关系上消耗的步数加1；

假如采取了NextRel操作，CurRel会被更新为下一个关系的独热向量；

假如句子sen符合当前关系CurRel的任意一条软规则，那么相应的IndOfRules会被更新为1；

假如采取了NextQue，以及找出关于这个关系的证据，那么对应的EviNum就会被加1；

假如句子sen匹配到软规则或者是找到了关系证据，那么按下面的公式更新关系抽取结果：

P(re|sen)＝norm(P′(re|sen)+λ₁IndOfRules+λ₂EviNum)

其中，norm表示归一化函数，λ₁是归一化函数的第一平衡因子；λ₂是归一化函数的第二平衡因子。

2.按照权利要求1所述的基于增强学习的关系抽取方法，其特征在于，所述步骤20)中，获取所述基于DNN模型的关系抽取概率分布，并进行降序排列，生成关系抽取结果。

3.按照权利要求1所述的基于增强学习的关系抽取方法，其特征在于，还包括预定义：设定关系集合以及一个已标注的数据集数据集中每一个实例都包含了一对标记了实体e₁，e₂的一个句子sen，以及它们的关系标签输入句子sen，输出关系的概率分布句子表示为一组词向量序列由词向量和位置向量连接得到；MDP五元组其中S＝{s}表示所有可能的状态空间，表示行为集合，大小为N^a，表示状态转移函数，表示奖励函数，γ表示衰减因子。