[发明专利]知识表示学习模型的生成方法及装置

说明书

本申请公开了一种知识表示学习模型的生成方法及装置。该方法包括：从三元组集合中选取第一预设数量的三元组作为训练数据集；分别确定训练数据集包括的头实体、尾实体以及关系实体的标号，并将标号存储至标号列表；确定和标号列表匹配度最高的历史标号列表，并利用匹配度最高的历史标号列表中的标号对应的实体对标号列表中的标号对应的实体进行初始化；对初始化后的训练数据集进行训练，直至知识表示学习模型训练完成。本申请解决了现有知识表示学习模型训练算法存在较多缺陷，例如，梯度方法容易陷入局部最优解、演化算法在高维的求解空间上收敛速度过慢、现有的小批量演化算法时间性能依然很差，并且效率较低的技术问题。

技术领域

本申请涉及计算机领域，具体而言，涉及一种知识表示学习模型的生成方法及装置。

背景技术

表示学习旨在将研究对象的语义信息表示为低维稠密的实值向量。知识表示学习则面向知识库中的实体和关系进行表示学习。知识表示学习技术可以在低维空间中高效计算实体和关系的语义联系，有效解决数据稀疏问题，使得知识获取、推理和融合的性能得到显著的提升。

知识表示学习的目标是通过机器学习的方法把研究对象集合中的实体和关系表示为稠密的低维实值向量。在知识表示学习中，我们目标是训练得到一个知识库G＝(E,R,S)。E代表知识库G中的实体集合，R代表知识库G中的关系集合，而代表知识库中的三元组集合。我们一般将每一个三元组表示为(h,r,t)，其中，h和t分别代表头实体和尾实体，r则代表h和t的关系。例如，(张三，总统，美国)表示着张三和美国之间存在“总统”这一关系，即张三是美国总统。知识库中的每一个实体，即三元组中的每一个h,r和t，我们都用唯一的一个embedding来表示，每一个embedding都是一个n维的向量，该向量的每一维度都是分布在一定取值空间内的实数值。

知识表示领域目前比较常用的模型包括距离模型，能量模型，单层神经网络模型，双线性模型，张量神经网络模型，矩阵分解模型和翻译模型。TransE模型被提出之后，研究者基于TransE提出了一系列基于TransE的翻译模型。研究者利用在2013年提出的word2vec模型发现了在词向量空间存在一个有趣的平移现象：

C(x)为word2vec模型学习得到的关于x的词向量。这个发现说明了词向量可以捕捉到king和queen以及man和woman之间存在的某种隐含关系。研究者通过类推发现，这个平移不变现象普遍存在于词向量之间。根据这个现象，研究者提出了TransE模型，即对于每一个三元组(h,r,t)，TransE模型希望公式成立。因此，TransE的训练目标为让每一个三元组(h,r,t)都能更符合，即TransE的训练目标为最小化如下函数：

L的表达式中，n代表所有的训练三元组数量，h代表头实体embedding，r代表关系embedding，t代表尾实体embedding。

目前已有的模型训练算法主要包括梯度下降算法和演化算法。

梯度下降算法在深度学习领域取得了巨大的成功。然而，梯度下降算法也存在着明显的缺点。首先，由于梯度下降算法属于贪心算法，容易陷入局部最优解。其次，该方法限制模型的损失函数单目标、可导。

演化算法是一个“算法簇”。与传统的基于微积分的方法和穷举法等优化算法相比，进化计算是一种成熟的具有高鲁棒性和广泛适用性的全局优化方法，具有自组织、自适应、自学习的特性，能够不受问题性质的限制，有效地处理传统优化算法难以解决的复杂问题。

演化算法将求解问题的模型参数编码为染色体，染色体可以是一个向量，含有若干维的数据。种群中每一个个体都有一条染色体。演化算法通过不断的种群进化来对问题求解。演化算法的进化过程一般由如下三个步骤组成：

变异：种群每一个个体的染色体会发生一定程度的变异，导致染色体向量上的部分数值发生改变。变异由变异算子控制，包括差分变异，高斯变异等。