[发明专利]一种句子信息指纹表示方法、句子查重方法及系统

说明书

本发明提出了一种句子信息指纹表示方法、句子查重方法及系统，涉及信息处理技术领域。该句子信息指纹表示方法通过获取待测句子信息；计算待测句子信息中的字数；根据字数在预置的字数表中进行匹配，得到字数对应的截取数量；根据截取数量按顺序提取待测句子信息中对应截取数量的字；将提取的待测句子信息中对应截取数量的字分别进行UTF‑8编码，生成各个字对应的编码信息；将各个字对应的编码信息按照预设的参数进行求余，生成各个编码的余数；将各个编码余数按照顺序进行排序，生成句子的信息指纹。从而避免了因关键词和高频词的提取较为困难，导致指纹信息不够准确的问题。

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种句子信息指纹表示方法、句子查重方法及系统。

背景技术

目前对一个文本信息提取指纹，主要是提取文中的关键词和高频词，并作为指纹信息，当选取8个关键词及其词频作为其指纹时，准确度在98％以上，查全率在30％左右。这说明要能“概括”该信息，找出其8个使用频率最高的词汇，基本可以代表这个信息，但是关键词和高频词的提取较为困难，导致指纹信息不够准确。

发明内容

本发明的目的在于提供一种句子信息指纹表示方法、句子查重方法及系统，用以改善现有技术中因关键词和高频词的提取较为困难，导致指纹信息不够准确的问题。

第一方面，本申请实施例提供一种句子信息指纹表示方法，其包括以下步骤：

获取待测句子信息；

计算待测句子信息中的字数；

根据字数在预置的字数表中进行匹配，得到字数对应的截取数量；

根据截取数量按顺序提取待测句子信息中对应截取数量的字；

将提取的待测句子信息中对应截取数量的字分别进行UTF-8编码，生成各个字对应的编码信息；

将各个字对应的编码信息按照预设的参数进行求余，生成各个编码的余数；

将各个编码余数按照顺序进行排序，生成句子的信息指纹。

上述实现过程中，通过获取待测句子信息；计算待测句子信息中的字数；根据字数在预置的字数表中进行匹配，得到字数对应的截取数量；根据截取数量按顺序提取待测句子信息中对应截取数量的字；将提取的待测句子信息中对应截取数量的字分别进行UTF-8编码，生成各个字对应的编码信息；将各个字对应的编码信息按照预设的参数进行求余，生成各个编码的余数；将各个编码余数按照顺序进行排序，生成句子的信息指纹。生成的句子的信息指纹是包括句子中的字的编码，而不会去提取关键词和高频词，从而避免了因关键词和高频词的提取较为困难，导致指纹信息不够准确的问题，同时句子中的字都来自与句子中，通过字的编码来表示句子的信息指纹，因而得到的信息指纹更加准确。

基于第一方面，在本发明的一些实施例中，将提取的待测句子信息中对应截取数量的字分别进行UTF-8编码，生成各个字对应的编码信息的步骤包括以下步骤：

A1：判断待测句子信息中对应数量的字是否为英文单词，若是，则执行步骤A2；若否，则执行步骤A4；

A2：将字中的各个字母分别进行UTF-8编码，生成各个字母对应的编码信息；

A3：将各个字母对应的编码信息进行求和计算，生成总的编码信息作为该字对应的编码信息；

A4：将待测句子信息中对应数量的字分别进行UTF-8编码，生成各个字对应的编码信息。

第二方面，本申请实施例提供一种句子查重方法，包括以下步骤：

获取多条句子；

将各个句子按照句子信息指纹表示方法进行信息指纹表示，生成各个句子的信息指纹；