[发明专利]一种基于贝叶斯定理的短文本分类数据集矫正方法及系统

说明书

本发明提供了一种基于贝叶斯定理的短文本分类数据集矫正方法及系统，其中，所述方法包括：获得待校正数据集；对待校正数据集的文本内容进行编码表示；获得多个样本类别的样本平滑参数；根据样本平滑参数，对编码表示后的所述待校正数据集的词频进行平滑处理；依据贝叶斯定理，根据数据平滑后的所述词频，获得各个样本数据属于不同样本类别的对数似然；设定预定标签修改条件；对符合条件的各个样本数据进行修改。解决了现有技术没有充分挖掘已有标注的信息，标签标注结果仍然完全取决于人，大量依赖人工参与，并且难以直接应用标注不准确、不正确的互联网数据，在分类过程中存在数据标签准确性差、正确率低的技术问题。

技术领域

本发明涉及数据挖掘相关技术领域，具体涉及一种基于贝叶斯定理的短文本分类数据集矫正方法及系统。

背景技术

随着互联网的发展，短文本数据急剧增加，短文本具有高维稀疏性的特点，数量庞大、更新速度快，短文本的分类利于文本信息挖掘、处理和组织文本数据。常见的短文本分类有根据其内容将分为新闻、娱乐、军事、体育等，或按照情感类型进行分类等。为了获取有标注的优质数据往往采集无标签的原始数据，再通过人工标注的方法获取高质量分类标签，并且为了解决人工标注成本高昂的问题，采用主动学习的方法，通过机器学习的方法获取到分类难度大的样本数据，将此类数据通过人工再次标注，然后将人工标注得到的数据再次使用有监督学习模型或者半监督学习模型进行训练，逐步提升模型的分类能力。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术没有充分挖掘已有标注的信息，标签标注结果仍然完全取决于人，大量依赖人工参与，并且难以直接应用标注不准确、不正确的互联网数据，在分类过程中存在数据标签准确性差、正确率低的技术问题。

发明内容

本申请实施例通过提供了一种基于贝叶斯定理的短文本分类数据集矫正方法及系统，解决了现有技术中没有充分挖掘已有标注的信息，标签标注结果仍然完全取决于人，大量依赖人工参与，并且难以直接应用标注不准确、不正确的互联网数据，在分类过程中存在数据标签准确性差、正确率低的技术问题。达到了能够利用互联网存在的不准确、不正确的短文本分类数据集，自动化地校正数据集，提高标注质量，校正速度快，能够快速获取可用数据集，能够对无标签的样本进行预测，提高分类过程中数据标签准确性及正确率的技术效果。

鉴于上述问题，本申请实施例提供了一种基于贝叶斯定理的短文本分类数据集矫正方法及系统。

第一方面，本申请实施例提供了一种基于贝叶斯定理的短文本分类数据集矫正方法，其中，所述方法包括：根据多个样本类别，获得待校正数据集；对所述待校正数据集的文本内容进行编码表示；获得所述多个样本类别的样本平滑参数；根据所述样本平滑参数，对所述编码表示后的所述待校正数据集的词频进行平滑处理；依据贝叶斯定理，根据数据平滑后的所述词频，获得各个样本数据属于不同样本类别的对数似然；设定预定标签修改条件；对符合所述预定标签修改条件的所述各个样本数据进行修改。

第二方面，本申请实施例提供了一种基于贝叶斯定理的短文本分类数据集矫正系统，其中，所述系统包括：第一获得单元，所述第一获得单元用于根据多个样本类别，获得待校正数据集；第一编码单元，所述第一编码单元用于对所述待校正数据集的文本内容进行编码表示；第二获得单元，所述第二获得单元用于获得所述多个样本类别的样本平滑参数；第一处理单元，所述第一处理单元用于获得根据所述样本平滑参数，对所述编码表示后的所述待校正数据集的词频进行平滑处理；第三获得单元，所述第三获得单元用于依据贝叶斯定理，根据数据平滑后的所述词频，获得各个样本数据属于不同样本类别的对数似然；第一设定单元，所述第一设定单元用于设定预定标签修改条件；第一修改单元，所述第一修改单元用于对符合所述预定标签修改条件的所述各个样本数据进行修改。

第三方面，本申请实施例提供了一种基于贝叶斯定理的短文本分类数据集矫正系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。