[发明专利]用于提及检测中的消歧的方法和系统

说明书

本公开内容涉及用于提及检测中的消歧的方法和系统。一个实施例公开了一种用于提及检测中的消歧的方法，包括：确定文本中的目标词形在文本中出现的至少一个位置；基于目标词形在每个位置处的词袋上下文，获取目标词形在文本中的总体词袋上下文，每个位置处的词袋上下文包含位置的预定邻域内的词；基于目标词形在每个位置处的资源上下文，获取目标词形在文本中的总体资源上下文，每个位置处的资源上下文包含位置的预定邻域内的其他词形所对应的资源；以及基于总体词袋上下文和总体资源上下文来确定目标词形与用于目标词形的候选资源之间的相似度。还描述了相应的系统。

技术领域

本发明的实施例总体上涉及信息处理领域，并且特别涉及用于提及检测中消歧的方法和系统。

背景技术

提及检测(mention detection)是一类用于处理文本信息的方法。提及检测被用于自动地检测文本中对人名、地名、组织等各种实体的提及(mention)，并且将这些提及映射到与实体相关联的资源。作为示例，提及检测工具如果检测到文本中存在了对“MichaelJordan”这一人名的提及，可以将该提及映射到例如网络词典中关于“Michael Jordan”的web页面。在使用中，例如当用户将光标置于这些提及之上或者附近时，可以以浮动提示的方式向用户呈现相应资源的统一资源标识符(URI)。

提及检测中的一个重要步骤是消歧(disambiguation)。对相同实体的提及可能具有不同的词形(surface form)。例如，对“Michael Jordan”这一实体的提及可能是“Jordan”、“Michael”、“Air Jordan”、“MJ”，等等。而且，针对不同实体的提及可能具有相同的词形。例如，对“Michael Jackson”的提及的词形同样可以是“MJ”。消歧操作的目的是确定文本的给定提及究竟应当被映射到哪个实体所对应的资源，例如，词形“MJ”应当被链接到“Michael Jordan”还是“Michael Jackson”的资源。

在传统的消歧算法中，通常只考虑词形属于候选概率的先验概率和上下文得分。上下文得分是通过计算词形周围出现的词与候选资源的提及周围出现的词之间的相似度得分。然而，在这种传统方法中，文本中的大量有用信息并未被充分地加以利用。由此，消歧的准确性和效果有待提高。

发明内容

总体上，本发明的实施例提出一种用于在程序调试的变量跟踪的技术方案。

在本发明的一个方面，提供一种用于提及检测中的消歧的方法。所述方法包括：确定文本中的目标词形在所述文本中出现的至少一个位置；基于所述目标词形在每个所述位置处的词袋上下文，获取所述目标词形在所述文本中的总体词袋上下文，每个所述位置处的所述词袋上下文包含所述位置的预定邻域内的词；基于所述目标词形在每个所述位置处的资源上下文，获取所述目标词形在所述文本中的总体资源上下文，每个所述位置处的所述资源上下文包含所述位置的预定邻域内的其他词形所对应的资源；以及基于所述总体词袋上下文和所述总体资源上下文来确定所述目标词形与用于所述目标词形的候选资源之间的相似度。

在另一方面，提供一种用于提及检测中的消歧的系统。所述系统包括：词形位置确定单元，被配置为确定文本中的目标词形在所述文本中出现的至少一个位置；词袋上下文获取单元，被配置为基于所述目标词形在每个所述位置处的词袋上下文，获取所述目标词形在所述文本中的总体词袋上下文，每个所述位置处的所述词袋上下文包含所述位置的预定邻域内的词；资源上下文获取单元，被配置为基于所述目标词形在每个所述位置处的资源上下文，获取所述目标词形在所述文本中的总体资源上下文，每个所述位置处的所述资源上下文包含所述位置的预定邻域内的其他词形所对应的资源；以及消歧单元，被配置为基于所述总体词袋上下文和所述总体资源上下文来确定所述目标词形与用于所述目标词形的候选资源之间的相似度。