[发明专利]一种基于贝叶斯定理的短文本分类数据集矫正方法及系统

权利要求书

1.一种基于贝叶斯定理的短文本分类数据集矫正方法，其中，所述方法包括：

a.根据多个样本类别，获得待校正数据集；

b.对所述待校正数据集的文本内容进行编码表示；

c.获得所述多个样本类别的样本平滑参数；

d.根据所述样本平滑参数，对所述编码表示后的所述待校正数据集的词频进行平滑处理；

e.依据贝叶斯定理，根据数据平滑后的所述词频，获得各个样本数据属于不同样本类别的对数似然；

f.设定预定标签修改条件；

g.对符合所述预定标签修改条件的所述各个样本数据进行修改；

对所述编码表示后的所述待校正数据集的词频进行平滑处理，包括：

获得可变值λ_k，其中，所述可变值λ_k为每种样本类别的总样本数除以常数C，其中，C为超参数；

基于所述可变值λ_k，对所述编码表示后的所述待校正数据集的词频进行统计，获得所述多个样本类别的样本平滑参数。

2.如权利要求1所述的方法，其中，所述对符合所述预定标签修改条件的所述各个样本数据进行修改之后，还包括：

在发生修改的样本数据中进行矫正效果的抽样观察，获得评估结果；

判断所述评估结果是否提升；

如果所述评估结果有提升，重新统计各个类别下的词频后，继续执行步骤e.f.g；

如果所述评估结果不再提升，将所述评估结果作为最终矫正结果。

3.如权利要求1所述的方法，其中，所述对所述待校正数据集的文本内容进行编码表示，包括：

对所述待校正数据集的文本内容进行词粒度的分词；

使用one-hot编码方式对分词后的所述文本内容进行编码，将文本内容转换为向量表示。

4.如权利要求1所述的方法，其中，依据贝叶斯定理，根据数据平滑后的所述词频，获得各个样本数据属于不同样本类别的对数似然，包括：

依据所述贝叶斯定理，计算各个样本类别出现的先验概率，以及出现各个单词的条件概率；

根据所述多个样本类别的样本平滑参数、各个样本类别出现的先验概率，以及出现各个单词的条件概率，获得各个样本数据属于不同样本类别的对数似然。

5.如权利要求1所述的方法，其中，所述对符合所述预定标签修改条件的所述各个样本数据进行修改，包括：

对所述各个样本数据属于不同样本类别的对数似然进行排序，获得最大似然值和次大似然值；

获得预定阈值；

判断所述最大似然值和次大似然值之差是否超过所述预定阈值；

如果所述最大似然值和次大似然值之差超过所述预定阈值，对对应的样本数据进行修改。

6.一种基于贝叶斯定理的短文本分类数据集矫正系统，其中，所述系统包括：

第一获得单元，所述第一获得单元用于根据多个样本类别，获得待校正数据集；

第一编码单元，所述第一编码单元用于对所述待校正数据集的文本内容进行编码表示；

第二获得单元，所述第二获得单元用于获得所述多个样本类别的样本平滑参数；

第一处理单元，所述第一处理单元用于获得根据所述样本平滑参数，对所述编码表示后的所述待校正数据集的词频进行平滑处理；

第三获得单元，所述第三获得单元用于依据贝叶斯定理，根据数据平滑后的所述词频，获得各个样本数据属于不同样本类别的对数似然；

第一设定单元，所述第一设定单元用于设定预定标签修改条件；

第一修改单元，所述第一修改单元用于对符合所述预定标签修改条件的所述各个样本数据进行修改；

所述第一处理单元，还用于：

获得可变值λ_k，其中，所述可变值λ_k为每种样本类别的总样本数除以常数C，其中，C为超参数；

基于所述可变值λ_k，对所述编码表示后的所述待校正数据集的词频进行统计，获得所述多个样本类别的样本平滑参数。

7.一种基于贝叶斯定理的短文本分类数据集矫正系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使系统以执行如权利要求1～5任一项所述的方法。