[发明专利]一种基于二元和三元共词潜在语义信息的文献表示方法

权利要求书

1.一种基于二元和三元共词潜在语义信息的文献表示方法，其特征是包括以下步骤：

第一步：对文本数据进行预处理，数据清洗，标记文献，提取每篇文献的关键词，并保留关键词与相应文献的对应关系；

第二步：构建关键词空间并对所提取的关键词进行词频统计，关键词按词频降序排列，以备后续建立共现矩阵使用；

第三步：以关键词在文献中是否出现为权重，构建文献表示的向量空间模型如下：

d_l＝(a_l1 a_l2 a_l3 … a_lm)^T∈R^m，l＝1,2,…,n

其中：d_l是n篇文献中第l篇文献在欧式空间R^m中的表示向量，a_lj为第j个关键词在第l篇文献中的权重，当第j个关键词是文献d_l的关键词时a_lj等于1，否则为0；l为文献序号，n为文献总篇数，m为关键词集中总关键词的个数，R^m为欧式空间，T表示转置运算，文献集的“篇-词”矩阵A＝(a_lj)_n×m；

第四步：三元共现层矩阵表示

其中：表示第j个关键词与所有关键词对(t_i,t_k)i,k＝1,2,…,m的三元共现矩阵，称为三元共现的第j层，为“篇-词”矩阵A的第j列，为对角矩阵，其对角元依次为的分量；

第五步：计算关键词之间的共词矩阵C＝A^TA，其中，当i≠j时，c_ij为第i个关键词与第j个关键词的共现频次，当i＝j时，c_ii为第i个关键词的总频次；

第六步：三元共现频次的计算：

由于c_i∪j∪k＝c_i+c_j+c_k-c_ij-c_jk-c_ik+c_ijk所以三元共现频次为

c_ijk＝c_i∪j∪k-(c_i+c_j+c_k)+(c_ij+c_jk+c_ik)

其中c_i∪j∪k为至少包含(t_i,t_j,t_k)三词之一的文献篇数，可由“篇-词”矩阵A＝(a_lj)_n×m得到；c_ij、c_jk和c_ik为关键词两两共现的频次，c_i，c_j和c_k分别为第i,j,k个关键词各自的频次，可由关键词之间的共词矩阵C＝A^TA得到；

第七步：共现强度计算：

(1)二元共现强度计算：

其中，c₁₁,c₂₂,…,c_mm分别为第1个，第2个，……,第m个关键词的频数；当i≠j时，b_ij为第i个关键词与第j个关键词的共现强度，当i＝j时，b_ii＝1,即矩阵B的对角线元素全为1；

(2)三元共现强度计算：

b_ijk为第i,j,k个关键词的三元共现强度；

第八步：二元和三元加权共现潜在语义向量空间模型的构建

其中，

b_tj为第t个关键词与第j个关键词的共现强度，I_l1＝{j|a_lj＝1}为矩阵A中第l行中所有a_lj＝1的j的指标集，t∈I_l1表示t为I_l1的取值。