[发明专利]一种基于相似度匹配算法为待译稿件匹配译员的方法

说明书

技术领域

本发明属于自然语言处理、信息检索，尤其涉及一种基于相似度匹配算法为待译稿件匹配译员的方法。

背景技术

在大体量的翻译公司或者翻译平台上，不得不面对的一个问题是如何为待译稿件匹配译员，常见的做法是人工判别和机器判别，人工判别是通过语言专家或翻译专家分别对翻译文档和译员进行分析和判断，由于人的阅读和理解限制，这种方法速度较慢同时要耗费非常大的的人力成本，并且由于判别人能力的参差以及每人对文档难度的理解不同而产生很大的判别差别，判别结果无法做到统一标准，客观性很差；机器判别的方法包括一种方法：根据译稿匹配译员，实际是通过译稿匹配译稿库中已有译稿，进而确定译员。

文档相似度匹配可以通过搜索引擎实现，Lucene是一套用于全文检索和搜索的开源程序库，为互联网时代搜索引擎是常见的信息检索工具。

通常一个文档集合里会有很多文档包含某个单词，每个文档会记录文档编号，单词在这个文档中出现的次数（TF）及单词在文档中哪些位置出现过等信息，这样与一个文档相关的信息叫做倒排索引项，包含这个单词的一系列倒排索引项构成了这个单词对应的倒排索引表，成万上亿个单词的倒排索引表构成了倒排索引。

目前，对利用文档处理及匹配提高匹配译员的效率尚有许多提高空间。

发明内容

本发明所要解决的技术问题是通过对已有译稿和待译稿进行预处理，基于高效的相似度匹配算法对预处理后的已有译稿和预处理后的待译稿进行相似度匹配,从而高效准确地匹配到合适的译员。

为解决上述技术问题，本发明提供了一种基于相似度匹配算法为待译稿件匹配译员的方法，其特征是包括以下步骤：

（1）对已有译稿进行预处理，所述已有译稿均记录着完稿译员的信息，所述预处理包括分词；

（2）对待译稿件进行预处理，所述预处理包括分词；

（3）将预处理后的已有译稿与预处理后的待译稿件进行文档相似度匹配，获得候选译稿；

（4）获取候选译稿记录的译员信息，保存为待译稿件匹配译员的信息;

所述将预处理后的已有译稿与预处理后的待译稿件进行文档相似度匹配的步骤是根据公式(一)计算文档相似度，所述公式(一)为:

其中，Q表示待译稿件，d表示已有译稿，qi表示预处理后的待译稿件词语，N表示译稿库中的总文档数；

k1， b为调节因子，设置k1=1.2，b=0.75，fi为qi在d中的出现次数，n(qi)为译稿库中包含qi的文档数，dl为已有译稿d的长度，avgdl为译稿库中所有文档的平均长度；

所述公式一的计算因子N，qi，n（qi），dl，avgdl，fi由以下步骤得出；

（a）记录译稿库中的总文档数N，总文档长度adl，根据公式 计算得出平均文档长度avgdl；

（b）根据步骤（2）获取预处理后的待译稿件词语qi，获取已有译稿d的长度dl，获取qi在已有译稿d中的出现次数 fi，计算译稿库中包含qi的文档数n(qi) 。

进一步，所述公式（一）是由公式集合（二）转换而来，

所述公式集合（二）为：

其中， Wi表示qi的权重；R(qi，d)表示qi与已有译稿d的相关性得分，

k1，k2，b为调节因子，设k2=0 ，qfi为qi在待译稿件中的出现频率，Wi表示词语与文档相关性的权重，IDF为逆文档频率。

进一步，所述对待译稿件进行预处理的步骤是：对待译稿件进行分词，形成待译稿件词汇集合，提取待译稿件主题，对待译稿件分词后的待译稿件词汇集合和待译稿件主题进行加权，获得预处理后的待译稿件；

进一步，所述对已有译稿进行预处理的步骤是：(1)对已有译稿分词并建立基于词汇的倒排索引；(2) 对分词后的已有译稿提取主题，建立基于译稿主题的倒排索引；(3)对基于词汇的倒排索引和基于译稿主题的倒排索引进行加权，获得预处理后的已有译稿。

进一步，所述对已有译稿分词后提取主题的方法是：(1)如果有标题，将标题默认为主题；(2)如果没有标题，但有关键词，根据关键词提取译稿主题；(3)如果没有标题，也没有关键词，默认首句为主题句。

进一步，所述对待译稿件进行分词是通过调用Lucene搜索引擎进行分词，所述Lucene搜索引擎包括若干种分词器。

进一步，所述Lucene搜索引擎根据语种类别采用相匹配的分词器对译稿库中已有译稿进行分词。