[发明专利]中文文本相似度的确定方法和装置

说明书

本申请公开了一种中文文本相似度的确定方法和装置。其中，该方法包括：将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本，按照汉语拼音的规则统计第一拼音文本中每种拼音单元的个数和第二拼音文本中每种拼音单元的个数，由第一拼音文本中每种拼音单元的个数生成第一特征向量，由第二拼音文本中每种拼音单元的个数生成第二特征向量，计算第一特征向量与第二特征向量的距离，根据距离确定第一中文文本与第二中文文本的相似度，其中，距离越小，第一中文文本与第二中文文本的相似度越高。本申请解决了现有技术难以有效识别因拼写错误造成的相似文本的技术问题。

技术领域

本申请涉及文本处理领域，具体而言，涉及一种中文文本相似度的确定方法和装置。

背景技术

在对文本进行分析的过程中，经常需要对文本进行纠错，即，将文本中所出现的错误用词进行纠正，比如，根据用户输入的“危险拉面”，区分出用户可能的目标词为相似文本“味千拉面”。而对于相似文本的确定方法，目前主要是计算字符串之间相似词语的个数，相似个数越多，表示文本的相似度越高。

然而，发明人发现现有技术的方案对于因拼写错误造成的相似文本很难有效识别，如，其识别结果中“千叶拉面”与“味千拉面”的相似度比“危险拉面”与“味千拉面”的相似度更高。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种中文文本相似度的确定方法和装置，以至少解决现有技术难以有效识别因拼写错误造成的相似文本的技术问题。

根据本申请实施例的一个方面，提供了一种中文文本相似度的确定方法，包括：将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数；由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量；计算所述第一特征向量与所述第二特征向量的距离；根据所述距离确定所述第一中文文本与所述第二中文文本的相似度，其中，所述距离越小，所述第一中文文本与所述第二中文文本的相似度越高。

进一步地，按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数包括：将汉字中的一个声母作为一个拼音单元，一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母和每种韵母的个数以及所述第二拼音文本中每种声母和每种韵母的个数。

进一步地，按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数包括：将汉字中的一个整体认读音节作为一个拼音单元，非整体认读音节的汉语拼音的一个声母作为一个拼音单元，非整体认读音节的汉语拼音的一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母、每种韵母以及每种整体认读音节的个数以及所述第二拼音文本中每种声母、每种韵母以及每种整体认读音节的个数。

进一步地，由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量包括：将所述第一拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第一特征向量，将所述第二拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第二特征向量，其中，所述预设向量为具有与按照预设顺序排列的拼音单元的种类一一对应的多个维度的向量。

进一步地，计算所述第一特征向量与所述第二特征向量的距离包括：计算所述第一特征向量与所述第二特征向量中每个对应维度的差；将所述每个对应维度的差取绝对值，并将所述绝对值相加，得到所述距离。