[发明专利]导出文档相似性索引

说明书

技术领域

本发明涉及文档索引，尤其涉及文档相似性索引。

背景技术

1.背景和相关技术

计算机系统和相关技术影响社会的许多方面。的确，计算机系统处理信息的能力已转变了人们生活和工作的方式。计算机系统现在通常执行在计算机系统出现以前手动执行的许多任务(例如，文字处理、日程安排和会计等)。最近，计算机系统彼此耦合并耦合到其他电子设备以形成计算机系统和其他电子设备可以在其上传输电子数据的有线和无线计算机网络。因此，许多计算任务的执行跨多个不同的计算机系统和/或多个不同的计算环境分布。

对于许多组织而言，文档很容易按量构成最大信息资产。如此，按其显著特征(诸如其关键词和短语)来表征文档是一种重要的功能。

用于表征文档的一种技术包括使用在全文本倒排索引中挖掘文档的全文本搜索解决方案。用于表征文档的另一技术挖掘文档级语义(例如，以标识文档之间的相似性)。在一些实施例中，术语相似性和/或文档相似性是经由诸如潜在语义索引(“LSI”)和潜在Direchlet分配(“LDA”)等计算密集的算法来计算的。

LSI是使用称为奇异值分解(“SVD”)的数学技术来标识文本的非结构化集合中包含的各术语和各概念之间的各个关系中的模式的索引和检索方法。LSI基于以下原理：在相同上下文中使用的词语趋向于具有相似的意义。LSI的一个特征是它能通过建立出现在类似上下文中的各术语之间的关联来提取文本正文的概念性内容。

LDA是允许由解释数据的一些部分为什么相似的未观察到的各组来解释各观察结果集合的生成性模型。例如，如果观察结果是被收集到文档中的词语，则假定每一文档是少量主题的混合并且每一词语的创建可归因于该文档的主题之一。

然而，全文本搜索和文档相似性技术的正确实现可能需要在计算机硬件和人力资源两方面进行大量投资。此外，文档解析、挖掘等操作通常在这两种技术之间是重复的。如此，最终用户因必须投资(可能多达双倍)资源来支付另外的成本，才能获得对他们的文档的搜索和语义洞察的好处。另外，许多更复杂的文档挖掘技术需要将不同的系统集成在一起，并且导致进一步的成本才能满足一组织的文档处理需求。

发明内容

本发明涉及用于导出文档相似性索引的方法、系统以及计算机程序产品。本发明的各实施例包括导出多个文档的文档相似性索引。访问一文档。计算该文档的标签索引。标签索引包括一个或多个关键词/权重对。每一关键词/权重对将关键词映射到该关键词的对应权重，以指示该关键词在文档内的显著性。基于标签索引中的权重来标识文档中的指定数量的最显著的关键词。

对于该指定数量的最显著的关键词中的每一关键词，从多个文档中的每一文档内确定该关键词的对应权重。基于多个文档中的指定数量的最显著的关键词的对应权重来从该多个文档中标识多个候选文档。文档中的指定数量的最显著的关键词中的至少一些也是该多个候选文档中的每一个文档中的显著关键词。

对于该多个候选文档中的每一候选文档，通过确定来自该文档的附加关键词在候选文档内的权重来计算该文档与候选文档之间的完全相似性。选择规定数量的候选文档的完全相似性以包括在文档相似性索引中，来指示与该文档相似的文档。对规定数量的候选文档的完全相似性的选择是基于完全相似性计算并根据硬限制或明确阈值之一的。硬限制或明确阈值对可被选择以包括在文档相似性索引中的候选文档的数量进行限制。对于规定数量的候选文档中包括的每一候选文档，来自该文档与候选文档之间的完全相似性的信息被存储在文档相似性索引中。

本发明的其他实施例包括更新多个文档的文档相似性索引。访问一批文档。对于该批文档中的每一文档，计算该文档的标签索引。标签索引包括一个或多个关键字/权重对。每一关键词/权重对将关键词映射到该关键词的对应权重，以指示该关键词在文档内的显著性。

对于该批文档中的每一文档，在计算了标签索引之后，基于标签索引中的权重来标识该文档中的指定数量的最显著的关键字。对于该指定数量的最显著的关键词中的每一关键词，从多个文档中的每一文档内以及该批文档的文档中确定该关键词的对应权重。从该多个文档和该批文档中标识多个候选文档。基于该多个文档和该批文档中的指定数量的最显著的关键词的对应权重来标识该多个候选文档。该文档中的指定数量的最显著的关键词中的至少一些也是该多个候选文档中的每一个候选文档中的显著关键字。