[发明专利]便利内容检索服务系统内本体和语言模型生成的信息获取和汇聚方法及子系统

权利要求书

1.一种内容检索服务系统的信息汇聚和分类组件，所述信息汇聚和分类组件包括：

文档分类器；

文档分类器构造器子组件，所述文档分类器构造器子组件使用经归类和处理的文档集来构造所述文档分类器；以及

信息汇聚器子组件，所述信息汇聚器子组件

从电子信息源获得未归类文档，

过滤所述未归类文档以产生一组标准化文本文档，

向所述标准化文本文档应用索引器以生成每个标准化文本文档的词语向量；

输入针对所述一组标准化文本文档中每个标准化文本文档计算的所述词语向量，以向所述标准化文本文档指派种类；以及

将每个不同种类的标准化文本文档汇聚在一起以产生每个种类的标准化文本文档包。

2.如权利要求1所述的信息汇聚和分类组件，其中所述文档分类器是朴素贝叶斯文档分类器。

3.如权利要求1所述的信息汇聚和分类组件，其中所述文档分类器构造器子组件：

从电子信息源获得文档，每个所述文档被指派了种类，

过滤所述文档以产生一组标准化文本文档，

向所述标准化文本文档应用索引器以生成每个标准化文本文档的词语向量；

为每个种类的文档计算累积词语分布；以及

将每个标准化文本文档，与针对所述标准化文本文档计算的词语向量和被指派给所述文本文档的种类，以及每个种类的文档的所述累积词语分布一起输入到所述文档分类器，以训练所述文档分类器识别要指派给输入的标准化文本文档/词语向量对的种类。

4.如权利要求1所述的信息汇聚和分类组件，其中所述信息汇聚器子组件使用网络抓取器来从电子信息源获得未归类文档。

5.如权利要求1所述的信息汇聚和分类组件，其中，对于每个文档，所述信息汇聚器子组件通过以下操作来过滤所述未归类文档以产生一组标准化文本文档：

从所述文档移除非文本项和符号以产生文本文档；

解析所述文本以将所述文本文档的所述文本组织为段落和段落中的句子，从而产生段句分界的文本文档；

向所述段句分界的文本文档应用语言解析例程，以从所述文本移除非名词词语，从而产生仅有名词和名词性短语的文本文档；以及

应用语言例程来标准化所述仅有名词和名词性短语的文本文档中的词语，并从经标准化的词语中过滤无用词语以产生标准化文本文档。

6.如权利要求1所述的信息汇聚和分类组件，其中每个词语向量包含每个词语在标准化文本文档中的出现计数。

7.如权利要求1所述的信息汇聚和分类组件，其中每个标准化文本文档包是带日期戳或日期/时间戳的，以指示所述标准化文本文档包被准备的日期或日期和时间。

8.一种内容检索服务系统的本体构建器组件，所述本体构建器组件：

接收日期或日期/时间以及对种类的指示；

从归类文本文档储存组件请求标准化文本文档的包，所述标准化文本文档的包具有的日期或日期/时间戳的值接近所接收的日期或日期时间，并且与所接收的种类相关联；

为所述种类的文本文档的词汇表内每个有向词语对计算多个同现值；

归一化所述有向词语对中每个第一词语的同现值；

计算每个词语的权重；

将所计算的每个词语的权重应用到有向词语对的经归一化的同现值，在所述有向词语对中，所述词语作为所述有向词语对中的第一词语出现；以及

将一组应用有权重、标准化的同现值作为本体储存在本体储存组件中。

9.如权利要求8所述的本体构建器组件，其中同现值是为每个有向词语对、针对所述词语一起出现在所述标准化文本文档的句子中、在所述标准化文本文档的段落中以及在整个标准化文本文档中的频率而计算的。

10.如权利要求8所述的本体构建器组件，其中词语的所述权重与所述词语在所述标准化文本文档中的总出现成反比。

11.如权利要求8所述的本体构建器组件，其中归一化所述有向词语对中每个第一词语的同现值还包括：计算每个有向词语对相对于所述有向词语对的总同现次数的比例性同现。