[发明专利]一种改进的基于深度学习的自然语言特征精确提取方法

摘要

本发明涉及一种改进的基于深度学习的自然语言特征精确提取方法。该方法在对自然语言进行基础分析时，采用最大熵方法建立自然语言的条件最大熵模型，并以此为基础，采用IFS算法选取自然语言属性特征，通过对自然语言属性特征进行匹配，选取与实际相符的特征，采用深度学习方法对自然语言特征进行精确的提取。本发明方法采用改进的提取方法进行自然语言特征提取时，相比传统的提取方法其提取准确度提高，误差率降低，具有一定的实用性。

主权项

1.一种改进的基于深度学习的自然语言特征精确提取方法，其特征在于：包括如下步骤，S1：采用最大熵方法建立自然语言的条件最大熵模型；S2：在步骤S1建立的条件最大熵模型的基础上，采用IFS算法进行自然语言属性特征的选择；S3：对自然语言属性特征进行匹配，获取实际的自然语言特征，通过深度学习方法，获取自然语言特征的协方差矩阵，从而准确的提取自然语言特征；所述步骤S1的具体实现过程如下：假设，自然语言训练样本属性集合为(x1,y1),(x2,y2),...,(xN,yN)，则其概率分布如下：式中，C(x,y)是自然语言训练样本属性集(x,y)在训练样本时出现的次数；当指数函数f(x,y)在经验分布中的期望值为所需的自然语言时，可求出此时的期望值为：在整个概率分布中f(x,y)除了表示样本特征f在某个特定的(x,y)的取值，还表示整个样本特征函数f；则条件最大熵模型可通过约束相应的特征函数f的期望值来实现，且模型必须与期望值保持一致；在模型p(y|x)中，特征f的期望值为：其中，p(x)是训练样本中的经验分布，此时我们称特征在模型中的期望值为特征的模型期望，简称特征期望；且此时的期望值与自然语言经验期望值相同，且满足以下约束条件：其中，N(d)表示存在的单个自然语言的个数；N(d,w)为w约束条件下单个自然语个数；当无自然语言出现时，取0；在满足约束条件后，采用拉格朗日乘法对约束条件进行优化，建立自然语言的条件最大熵模型，具体如下：首先设置原始的约束优化问题，表达式为式中，H(p)为单个自然语言属性集p出现的次数；然后在每个自然语言属性特征fi引入一个参数λi，λi为拉格朗日算子；且p(y|x)是条件概率，使得拉格朗日函数趋于均衡的状态，即使∑yp(y|x)＝1；同时为每个样本实例x引入一个参数k(x)，使函数解处于最优；那么拉格朗日函数可定义为：式中：p(f_i)为单个自然语言属性集P在i时刻的期望值，为单个自然语言属性集P在i时刻的估计值；将式(6)中的λ固定，计算没有约束的拉格朗日函数Λ(p,λ)的最大值，用pλ(y|x)来表示Λ(p,λ)取最大时的分布p(y|x)，ψ(λ)表示最大值，那么：ψ(λ)＝Λ(pλ,λ)                               (8)当时，可解得：把pλ(y|x)带入∑yp(y|x)＝1，可得条件最大值：其中：为样本特征值，λ_i为样本特征f_i的权重，λ表示所有λ_i的集合，则得到条件最大熵模型可表示为：由此可知，条件最大熵模型即为自然语言训练样本属性的对数似然比最大的符合指数分布的模型；所述步骤S2的具体实现过程如下：条件最大熵模型可以转换为：式中：f_i表示第i个自然语言属性特征，λ_i是对应特征权重，Z(x)为归一化因子；假设，那么，条件概率p(y|x)可表示为：p(y|x)＝sum(y|x)/Z(x)                                        (13)此时，需要对增益计算进行重新推导，进行属性特征选择，则得到的属性特征为：对属性特征进行简单的求导运算，对属性特征进行选择，结果如下：式中，sums∪f为自然语言属性集s与自然语言属性集f的和集，zs∪f为自然语言属性集s与自然语言属性集f的和集的最优解，α(y|x)为求导后的特征在特定时间的取值；上述过程实现了对自然语言属性特征进行选择，为实现自然语言精确提取方法的改进提供了基础依据；所述步骤S3的具体实现过程如下：假设，自然语言有M个属性，分别为a1，a2，…，aM，则属性ai的取值范围为(1,2,...,ni)，其中ni为第i属性值数，那么，为了简化特征，只考虑属性合取的特征，可表示为：f＝(v1,v2,...,vi,t)                                           (16)其中，vi∈{0}∪(1,2,...,ni)，vi＝0意味着第i个属性可以忽略，t是属性特征的目标概念类，t∈{1,2,...,Y}；若在属性特征向量表示中，把可忽略的属性特征省略，即为稀疏向量表示；则有条件部分的特征f可表示为：f＝(j1:vj1,j2:vj2,...,jk:vjk,t)                             (17)其中：k称为属性特征维数，表示属性特征中非零的个数，ji∈{1,2,...,M}是属性特征中非零属性特征的编号，vji∈{1,2,...,ni}为非零属性的值；所以，为了计算p(y|x)，必须找到与之相互匹配的所有自然语言特征，结果如下所示：mfs(x)＝∪mfs(x,y)                                       (18)在此基础上，采用深度学习法对自然语言特征进行提取，首先对自然语言特征进行规整化，假设自然语言特征样本为{x⁽¹⁾,x⁽²⁾,...,x^(m)}，m为样本数，维数为n，表示第j个自然语言特征值，则其均值为：规整化后的原始自然语言特征均值为：深度学习方法过程中，自然语言特征的协方差矩阵，表达式为：∑为自然语言特征样本x的协方差矩阵，对矩阵∑计算特征值Λ和特征向量U，表达式分别如下所示：Λ＝[λ1,λ2,...,λn]                                           (22)U＝[u1,u2,...,un]                                            (23)最终得到的自然语言特征表达式为：xpca＝[u1,u2,...,up]Td                                       (24)其中：T为常数，d为特征维数；根据上述的自然语言特征表达式，即可准确的提取自然语言特征。