[发明专利]复合词拆分

说明书

背景技术

本说明书总体涉及分解。

许多语言如英语、德语和瑞典语，使用复合词以便增加词汇量的大小，其中，复合词是两个或更多词的组合，其起到单一含义单元的作用，或者是包括两个或更多组分、部分或词素的词位。在一些语言中，复合词从其组成词位（或“组分”，或“子词”）的生成需要一个或多个形态学操作。

复合词拆分（或“分解”）是指将复合词拆分成它的相应组分的过程。虽然熟悉该语言的人通常可以识别复合词并将复合词拆分成该复合词的组分，但是对组分进行变换的形态学操作使得机器非常难以执行这些相同的任务。

当执行机器翻译时，基于短语的统计过程可以用来使用短语表而使源短语和目标短语对准。短语表存储多语种信息，机器可以使用所述多语种信息而使源短语和目标短语对准。在语言中之一有能力使词复合而其他语言没有该能力的情况下，源短语和目标短语的对准可能是困难的或者不可能。

发明内容

复合词拆分可以实现源短语与目标短语之间改进的对应性，从而改善机器翻译的质量。根据在本说明书中所描述的主题的创新方面，机器将复合词分解成它的组分，并且将每个组分从其源语言翻译成其目标语言。

总体上，在本说明书中所描述的主题的另一个创新方面可以以下述方法实施，所述方法包括下述操作：获得包括字符的序列的语言符号（token）；识别作为所述语言符号的组分的两个或更多候选子词以及将所述子词变换成所述语言符号所需要的一个或多个形态学操作，其中，所述形态学操作中的至少一个涉及非词典词的使用；以及确定与每个子词相关联的成本和与每个形态学操作相关联的成本。这个方面的其它实施方式包括相应的系统、设备和计算机程序，它们配置成执行所述方法的操作，在计算机存储装置上进行编码。

这些和其它的实施方式分别可以可选地包括以下特征中的一个或多个特征。例如，所述操作可以包括：将与每个子词相关联的成本和与每个形态学操作相关联的成本进行组合；所述操作可以包括基于所组合的成本来确定将语言符号分解成候选子词，其中，所述确定分解语言符号可以包括当组合的成本满足预定阈值时确定将语言符号分解成候选子词；所述确定分解语言符号可以包括当组合的成本是与作为所述语言符号的组分的候选子词的所有被识别的组合相关联的最低的组合的成本时确定将语言符号分解成候选子词；所述操作可以包括：确定子词之间的拆分点的数量，以及确定与拆分点的数量相关联的成本；所述至少一个形态学操作可以涉及在候选子词中的两个候选子词之间插入非词典词、从语言符号中删除非词典词、将非词典词前置以作为候选子词中的一个或多个候选子词的前缀、将非词典词后置以作为候选子词中的一个或多个候选子词的后缀或将非词典词插入以作为候选子词中的一个或多个候选子词的中缀；非词典词可以是包括字符的在子词的语言中没有规定含义的子序列的连接词素。

总体上，在本说明书中所描述的主题的另一个创新方面可以以下述方法实施，所述方法包括下述操作：识别出现在第一词汇中的词以及每个词各自出现在第一词汇中的频率；使用出现在第一词汇中的词作为组分来分解出现在第二词汇中的词；以及输出用作组分来分解出现在第二词汇中的词的出现在第一词汇中的词，以作为通用复合词拆分器词汇。这个方面的其它实施方式包括相应的系统、设备和计算机程序，它们配置成执行所述方法的操作，在计算机存储装置上进行编码。

这些和其它的实施方式分别可以可选地包括以下特征中的一个或多个特征。例如，第一词汇可以是新闻语言模型词汇，而第二词汇可以是网络语言模型词汇；操作可以包括选择以多于预定次数用作组分来分解出现在第二词汇中的词的出现在第一词汇中的词，其中，输出用作组分来分解出现在第二词汇中的词的出现在第一词汇中的词以作为通用复合词拆分器词汇可以包括：输出选择的以多于预定次数用作组分来分解出现在第二词汇中的词的出现在所述第一词汇中的词；操作可以包括基于每个词各自出现在第一词汇中的频率来过滤来自通用复合词拆分器词汇的词。