[发明专利]一种交互式抽取可比语料与双语词典的方法及其装置

摘要

本发明涉及一种交互式抽取可比语料与双语词典的方法及其装置，解决了领域种子双语词典规模不足条件下难以识别可比语料和可比度不同条件下难以提取互译词汇的缺陷。本发明包括：对文档进行词性还原、分词、去停用词，得到预处理后的文档集合以及词汇集合；分别构建源语言文档-目标语言文档、源语言词汇-目标语言词汇、双语词汇对-双语文档对的关系；迭代增强计算双语文档对和双语词汇对的权重；选择权重最大的双语文档对构建可比语料，选择权重最大的双语词汇对构建双语词典。通过不同语言文档相似性促进不同语言词汇相似性的判断，不同语言词汇的相似性增强不同语言文档的相似性，二者交互式迭代增强实现同步抽取可比语料和双语词典。

主权项

一种交互式抽取可比语料与双语词典的方法，其特征在于，包括以下步骤：11)预处理过程，对文档进行词性还原、分词、去停用词，得到预处理后的文档集合以及词汇集合；针对M个源语言文档、N个目标语言文档，进行词性还原、分词、去停用词预处理，得到源语言文档集合DS＝{dm|1≤m≤M}、目标语言文档集合DT＝{dn|1≤n≤N}、源语言词汇集合WS＝{wa|1≤a≤A}、目标语言词汇集合WT＝{wb|1≤b≤B}，其中M、N、A、B分别为源语言文档集包含文档个数、目标语言文档集包含文档个数、源语言词汇集合中包含词汇个数、目标语言词汇包含词汇的个数；m、n、a、b为相应集合中的某一元素的标号，其均为正整数；12)分别构建源语言文档‑目标语言文档、源语言词汇‑目标语言词汇、双语词汇对‑双语文档对的关系；13)迭代增强计算双语文档对和双语词汇对的权重；14)选择权重最大的双语文档对构建可比语料，选择权重最大的双语词汇对构建双语词典；双语文档对的权重越大则不同语言文档的相关性越强，选择权重最大的双语文档对构成可比语料；双语词汇对的权重越大则不同语言词汇的相关性越强，选择权重最大的双语词汇对构成双语词典。