[发明专利]一种基于机器学习的中文商业文本预处理方法

权利要求书

1.一种基于机器学习的中文商业文本预处理方法，其特征在于：对输入的中文商业文本采用以下步骤进行处理：

(1)对中文商业文本进行分句和分词；

(2)利用决策树对分好的词语进行词性标注；

(3)基于贝叶斯分类器利用条件概率进行词义消歧；

(4)利用One-Hot编码与Skip-Gram模型结合的混合模型表示词向量；

(5)利用TF-IDF调整词语权重，确定多义词在当前语境下对应的词义；

(6)输出基于机器学习预处理后的中文商业文本。

2.根据权利要求1所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：所述的步骤(1)中利用句号作为识别符对文本进行分句，基于概率统计模型对文本进行分词，具体为：

输入由C＝[c₁，c₂，…，c_n]^T表示的字符串，输出由S＝[w₁，w₂，…，w_m]^T表示的分词串，其中m≤n，之后利用如下公式进行分词：

比较不同分割方案出现概率的大小，概率最大的方案即为确定的分割方案S；

其中，P(S|C)为当输入字符串为C时，输出分词串为S的条件概率；

P(C|S)为当输出分词串为S时，输入字符串为C的条件概率；

P(S)为分词串S出现的概率；

P(C)为输入字符串C出现的概率，是一个用于标准化的固定值。

3.根据权利要求1所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：步骤(2)通过使用词语特征A划分数据集D，其中特征A是根据信息增益，增益比和基尼指数三个决策树指标确定的。

4.根据权利要求3所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：所述的信息增益，用于衡量分类前后信息的变化，公式如下：

g(D,A)＝H(D)-H(D|A)

其中，H(D)为所述数据集D的熵，H(D|A)为所述数据集D和所述特征A之间的互信息，g(D，A)为所述数据集D分类前后的信息变化。

5.根据权利要求3所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：所述的增益比公式如下：

其中，g(D，A)为所述信息增益，H_A(D)表示通过使用特征A作为样本集D的随机变量而获得的经验熵，g_R(D，A)为所述增益比；

分类时在候选特征中找到所述信息增益高于平均值的特征，然后选择具有最高增益比的特征。

6.根据权利要求3所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：所述基尼指数，公式如下：

其中，D为所述数据集，D_i为根据第i个所述特征A所划分的数据集D的子集，n为所述特征A的总个数，Gini(D，A)为基于所述特征A划分所述样本集D时的基尼指数。

7.根据权利要求3-6任一项所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：包括采用以词语的结构或偏旁部首作为所述的特征A。

8.根据权利要求1所述的一种基于机器学习的中文商业文本预处理方法，其特征在于：步骤(3)用于确定在上下文语境T条件下，确定具有多义词v的语义K，

其中，P(K|T)为当上下文语境为T时，所述多义词v的语义为K的条件概率；P(T|K)为当所述多义词v的语义为K时，上下文语境为T的条件概率；P(K)为所述多义词v的语义为K的概率；P(T)是一个固定值，为上下文语境T出现的概率；

当P(K|T)取得最大值时为对应确定的语义K。