[发明专利]一种基于思想政治词语查重处理方法和装置

说明书

本申请公开了一种基于思想政治词语查重处理方法和装置，该方法包括：获取第一文章中思想政治词语在所述第一文章中的第一位置信息，其中，所述思想政治词语为预先配置的；获取第二文章中的思想政治词语在所述第二文章的位置信息；判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比；在所述占比未超过的第一阈值的情况下，确定所述第一文章和所述第二文章为不相同的文章。通过本申请解决了现有的文章查重手段在思想政治类文章上使用时会发生大概率的误判，从而提高了思想政治文章查重的准确率。

技术领域

本申请涉及到智能出版领域，具体而言，涉及一种基于思想政治词语查重处理方法和装置。

背景技术

在现有技术中，一般在自动发表文章的时候，系统会进行查重。目前查重基本上是基于文章存在的关键词相同的概率是否超过阈值来进行判断的。这种查重的方式在其他类型的文章是适用的。

在思想政治类文章中，这种查重的方式准确率会降低。这是因为思想政治类的文章中，大部分思想政治词语都是相同的，但是，这并不代表这两篇文章就是相同的。因此，现有的文章查重手段在思想政治类文章上使用时会发生大概率的误判。

发明内容

本申请实施例提供了一种基于思想政治词语查重处理方法和装置，以至少解决现有的文章查重手段在思想政治类文章上使用时会发生大概率的误判的问题。

根据本申请的一个方面，提供了一种基于思想政治词语查重处理方法，包括：获取第一文章中思想政治词语在所述第一文章中的第一位置信息，其中，所述思想政治词语为预先配置的；获取第二文章中的思想政治词语在所述第二文章的位置信息；判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比；在所述占比未超过的第一阈值的情况下，确定所述第一文章和所述第二文章为不相同的文章。

进一步地，还包括：在所述第一文章和所述第二文章中存现的相同的思想政治词语的数量小于第二阈值的情况下，确认所述第一文章和所述第二文章为不相同的文章。

进一步地，所述第一文章中的思想政治词语和所述第二文章中存在的思想政治词语的数量大于等于所述第二阈值的情况下，所述方法还包括：判断所述第一文章中的思想政治词语和所述第二文章中存在的思想政治词语是否小于等于第三阈值，其中，所述第三阈值大于所述第二阈值；在小于等于所述第三阈值的情况下，判断所述第一文章去掉相同的思想政治词语后剩余的字数与所述第二文章去掉所述相同的思想政治词语有剩余的字数的差值是否大于所述第四阈值；在大于所述第四阈值的情况下，确定所述第一文章和所述第二文章为不同的文章。

进一步地，判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比包括：在所述第一文章中的思想政治词语小于等于所述第三阈值并且所述第一文章和所述第二文章剩余的字数的产值小于等于所述第四阈值的情况下，判断判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比。

进一步地，判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比包括：在所述第一文章中的思想政治词语大于所述第三阈值的情况下，判断判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比。

根据本申请的另一个方面，还提供了一种基于思想政治词语查重处理装置，包括：第一获取模块，用于获取第一文章中思想政治词语在所述第一文章中的第一位置信息，其中，所述思想政治词语为预先配置的；第二获取模块，用于获取第二文章中的思想政治词语在所述第二文章的位置信息；第一判断模块，用于判断相同的思想政治词语在所述第一文章中的第一位置信息与在所述第二文章中的第二位置信息相同的占比；第一确定模块，用于在所述占比未超过的第一阈值的情况下，确定所述第一文章和所述第二文章为不相同的文章。