[发明专利]一种基于编辑距离以及词频和词向量的实体关系识别方法

摘要

本发明涉及一种基于编辑距离以及词频和词向量的实体关系识别方法：步骤一：获取文本数据；步骤二：采用分词软件进行分词，对分词后的文本进行每个词个数的统计；步骤三：调整词向量的维数、窗口大小，进行词向量的训练；步骤四：利用训练好的词向量，对词进行聚合；步骤五：对步骤四中获得的实体进行编辑距离的计算，结合步骤一中得到的词频，进而得到给定实体词的别名或简称；基于编辑距离，在步骤四的基础上，计算给定实体词到其它实体的d_[i,j]值，结合步骤一获取每个实体词的个数；经加权平均得到G(X)，即：获取给定实体词的前n个最可能的简称，通过比重可以看出其关系强度，便可得到给定实体词的别名或简称。

主权项

1.一种基于编辑距离以及词频和词向量的实体关系识别方法，该方法具体步骤如下：步骤一：获取文本数据；步骤二：采用分词软件进行分词，基于分词的基础上，对分词后的文本进行每个词个数的统计，并记录下来；步骤三：采用Google的word2vec模型，调整词向量的维数、窗口大小，进行词向量的训练，窗口大小即在一句话中给定实体词的前后几个词，它是基于词的上下文训练方法；经过word2vec训练后的每个词向量为如下形式：w_m(v_m1，v_m2，v_m3，v_m4，......，v_mn)其中，w表示文本中的词，m表示词的序号，v表示w的词向量，1,2…n：表示词向量的维数，可以根据需要，设置词向量的维数，即设置n的值；步骤四：利用训练好的词向量，对词进行聚合，即获取给定实体词，在词向量上分别计算到其它实体的距离，根据距离，进而得到距离给定实体词关系最近的实体，先获取离给定实体词W_E最近的x个实体:实体词W_E:W_E(v_E1,v_E2,v_E3,v_E4，....,v_En)实体词w₁:w₁(v₁₁,v₁₂,v₁₃,v₁₄，....,v_1n)x₁＝(v_E1‑v₁₁),x₂＝(v_E2‑v₁₂),x₃＝(v_E3‑v₁₃)，...，x_m＝(v_En‑v_1n)   (1)其中，x₁表示词向量在第一维的分量差，dis表示W_E与w₁在词向量上的距离，依次迭代计算公式(1)与公式(2),获取最近的x个实体，实体词w₁:w₁(v₁₁,v₁₂,v₁₃,v₁₄，....,v_1n)实体词w₂:w₂(v₂₁,v₂₂,v₂₃,v₂₄，....,v_2n)实体词w₃:w₃(v₃₁,v₃₂,v₃₃,v₃₄，....，v_3n)实体词w_x:w_x(v_x1,v_x2,v_x3,v_x4，....，v_xn)步骤五：对步骤四中获得的实体进行编辑距离的计算，结合步骤一中得到的词频，进而得到给定实体词的别名或简称，其编辑距离主要公式如下：其中d_[i‑1，j]+1代表给定实体词插入一个字符，d_[i，j‑1]+1代表给定实体词删除一个词，然后当x_i＝y_j时，不需要代价，所以和上一步d_{[i‑1，j‑1]}代价相同，否则+1，接着d_[i，j]是以上三者中最小的一项；基于编辑距离，在步骤四的基础上，计算给定实体词到其它实体的d_[i，j]值，结合步骤一获取每个实体词的个数；经加权平均得到G(X)，即：获取给定实体词的前n个最可能的简称，通过比重可以看出其关系强度，便可得到给定实体词的别名或简称：G(X)＝(sort(f(dis_x1/x₁count),f(dis_x2/x₂count),f(dis_x3/x₃count),......,f(dis_xn/x_ncount)))；sort:表示排序，从小到大排序；dis_x1:表示给定实体词变换到实体x₁的编辑距离；x_mcount:表示实体x_m在文中所出现的次数；f(dis_x1/x₁count)：表示给定实体词对实体x₁的比重，换句话，就是说实体x₁，是给定实体词简称的可能性大小，值越小表示可能性越大。