[发明专利]对文本进行处理以构造文本模型的方法

摘要

文本被处理以构造文本的模型。文本具有共用词汇。文本被分成文本的集合和子集。共用词汇在两个或更多个集合中的用法不同，并且两个或更多个子集的主题不同。针对文本定义概率模型。该概率模型将文本中的各单词视为具有位置和单词值的标志，并且使用该概率模型中的随机变量的分布来表示在文本中的共用词汇的用法、主题、子主题和针对各标志的单词值，其中该随机变量是离散的。对应于与单词关联的词汇用法、单词值、主题和子主题，针对模型，估计参数。

主权项

一种在被处理器中执行的程序访问的存储器中的对文本进行处理以构造该文本的模型的方法，该方法包括以下步骤：获取所述文本，其中，所述文本具有共用词汇，其中，所述文本包括单词，其中，所述文本被划分成文本集合并且至少一个文本集合被划分成文本的子集，其中，共用词汇在两个或更多个集合中的用法不同，并且两个或更多个子集的主题不同；在所述存储器中存储针对所述文本的概率模型，其中，所述概率模型将所述文本中的各单词视为具有位置和单词值的标志，并且使用所述概率模型中的随机变量分布来表示在所述文本中针对各标志的共用词汇的用法、主题、子主题和单词值，其中，所述随机变量是离散的，其中，各文本集合具有词汇用法随机变量，其中，各标志与对应于所述主题、所述子主题和所述单词值的随机变量相关联，其中，与针对所述标志的所述主题关联的所述随机变量的分布依赖于包括所述标志的文本的子集合，与针对所述标志的所述子主题关联的所述随机变量的分布依赖于所述标志的所述主题，并且针对所述标志的单词值的随机变量分布依赖于包括所述标志的文本集合的所关联的子主题和词汇用法；以及基于与所述单词关联的所述词汇用法、所述单词值、所述主题和所述子主题，估计所述概率模型的参数，其中，所述方法中的所述步骤在处理器中执行。