[发明专利]对文本进行处理以构造文本模型的方法

说明书

技术领域

本发明总体上涉及文本处理，更具体地，涉及构造针对具有共用词汇的不同用法的文本的集合的模型。

背景技术

在许多实际情形下，文本中具有不同词汇用法模式的片段可能指的是相同的主题，然而这些片段可能使用不同的关键词语来表达相同的含义。例如，同种语言的不同地方方言、论述中的正式的或学术的不同级别、写作的不同风格代表了词汇用法的这种差异，所有这些我们可以称之为更广义的方言。重要的问题则是：给定了一种方言中的查询词语，如何可以可靠地以不同方言返回相关片段。解决这种问题在信息检索方面将会具有实际价值，其中在不熟悉领域利用不同的关键词语搜索可用信息会是困难的任务。这种情形的示例是针对不同编程语言的用户手册、针对不同品牌产品的用户手册，或者来自不同大学的选课目录。

在统计学中，潜在狄利克雷分配(LDA)是生成模型(generative model)，其试图通过分析文档中单词的同时出现来寻找被称为主题的单词簇的。LDA及其扩展将各文档建模为主题的混合体，其中，各单词从多个主题中的一个产生。

LDA指定概率过程来产生文档中的单词，就这个意义而言，它是生成模型。对于给定文档，根据狄利克雷分布先验概率提取多项式主题概率的集合和被给定主题的多项式单词概率的集合。然后，对于文档中的各单词位置，根据文档的主题概率提取主题；最后，根据该主题的单词概率分布提取单词。然而，当观察数据时，各文档的主题分布、被给定主题的单词的概率分布和产生文档中的各单词的主题是未知的。LDA中的推测总体上是对各文档中的主题概率的后验分布、被给定主题的单词的概率、主题向各单词的指派的估计。

尽管LDA本身不旨在将方言依存性建模，但已经为此目的开发了它的许多扩展。

使用主题模型的词意明确化方法试图根据单词的预定标记的层次来学习多义词的隐含含义。用于多语言语料库的其它模型需要对齐的或在句法上近似的文档。其它模型作用于未对齐的文档，然而，这些模型以不同词汇对对应主题建模。相比之下，我们的方法是完全不受监督的并且在共用词汇内对方言建模。

这些方面的一个相关工作是“方言主题模型”(diaTM)，它将语料库中的不同文档与来自方言混合体和主题混合体这两者的不同提取物相关联。我们正在考虑以下应用：将各语料库与仅一种方言相关联并且所有语料库共用通用主题集合。然而，各语料库可将不同术语与各主题相关联。这样将在不带来主题的差别的情况下，引起语料库(对应于方言)中语言的系统性变化。“方言主题模型”的结构没有使得这种约束的定制化容易，因为它允许各语料库定义不同的主题集合。

其它相关工作是适应主题的潜在狄利克雷分配模型(τLDA)和层次潜在狄利克雷分配(hLDA)模型，潜在狄利克雷分配模型将技术层次与主题层次平行地建模，层次潜在狄利克雷分配模型使用巢型中国餐厅处理(nested Chinese restaurant process)对针对已学习的主题的树状层次建模。这些模型最适于解决不同特异性(或“技术性”)级别的文档，这不一定是我们考虑的应用中的情况。

以上方法的另一个问题是，这些方法不能够直接识别随方言变化而变化的等同词语的集合。这表示将该问题的固有约束精确地建模的失败，并且会导致信息检索的结果不准确。

发明内容

本发明总体涉及处理文本的集合。假设各集合(也被称为“语料库”)包括文本的子集合(也被称为“文档”)。语料库内的所有文档通过相同的词汇用法模式(也称为“方言”)表征，而它们就标题(也被称为“主题”)而言可以是不同的。词汇中的一些词语在含义上是等同的，但在不同方言上系统性地不同。该模型可分开地表征各文档的方言和主题，以隔离针对特定任务而关注的成分(方言或主题)。

术语“语料库”和“文档”没有约束这些术语可表示的内容。语料库可以是文本的集合，并且文档是该文本的子集合。例如，语料库可以是不同的书，文档可以是这些书中的章节，或者各语料库可以是一群人写的消息的集合，并且文档可以是该集合中的一些段落。同样，以上提及的“主题”和“方言”将分别取它们的标题和词汇用法的一般含义。

本发明的实施方式提供了针对由共用词汇的不同方言中的单词构成的文档的概率模型。具体地，该模型是基于被称为潜在狄利克雷再分布(LDR)的潜在狄利克雷分布(LDA)的扩展形式。LDR是LDA的扩展形式，其旨在处理以下情况：存在通过变化词汇用法来表征的多个语料库，在这个意义上，使用一个语料库中的特定单词表示的含义可使用另一个语料库中的不同单词来表示，这个差别不依赖于语料库内的特定文档。