[发明专利]一种文本信息筛选方法、装置及设备

权利要求书

1.一种文本信息筛选方法，其特征在于，所述方法包括：

获取目标问题文本对应的相关问题文本；

将所述相关问题文本的答案文本组成候选答案文本；

对所述候选答案文本进行分词，获得分词结果；

根据所述分词结果中各分词之间的关联关系，计算分词转移概率；

根据各个所述候选答案文本包括的分词以及所述分词转移概率，计算各个所述候选答案文本的概率值；

将所述概率值最大的候选答案文本确定为所述目标问题文本的目标答案文本；

所述根据所述分词结果中各分词之间的关联关系，计算分词转移概率，包括：

根据所述分词结果中目标两分词组合的出现频次以及全部两分词组合的出现频次总数，计算所述目标两分词组合的初始概率，所述目标两分词组合分别为所述分词结果中连续两个分词的组合；

根据所述分词结果中目标三分词组合的出现频次以及全部三分词组合的出现频次总数，计算所述目标三分词组合的初始概率，所述目标三分词组合分别为所述分词结果中连续三个分词的组合；

根据所述目标两分词组合的初始概率以及所述目标两分词组合对应的目标三分词组合的初始概率，计算从所述目标两分词组合转移到第一目标分词的转移概率作为分词转移概率，所述目标两分词组合对应的目标三分词组合中的前两个分词为所述目标两分词组合，所述第一目标分词为所述目标两分词组合对应的目标三分词组合中的第三个分词。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对问题文本集合中的问题文本进行聚类，得到问题文本聚类，每个所述问题文本聚类中包括至少一个问题文本；

所述获取目标问题文本对应的相关问题文本，包括：

确定目标问题文本所属的问题文本聚类；

将所述目标问题文本所属的问题文本聚类中的问题文本确定为候选相关问题文本；

提取所述目标问题文本的关键词以及所述候选相关问题文本的关键词；

将与所述目标问题文本存在相同关键词的候选相关问题文本确定为所述目标问题文本对应的相关问题文本。

3.根据权利要求2所述的方法，其特征在于，所述对问题文本集合中的问题文本进行聚类，得到问题文本聚类，包括：

将问题文本集合中的问题文本转换为特征向量；

根据所述问题文本集合中的问题文本的特征向量在向量空间中的分布，对所述问题文本集合中的问题文本进行聚类，得到问题文本聚类。

4.根据权利要求3所述的方法，其特征在于，所述确定目标问题文本所属的问题文本聚类，包括：

将目标问题文本转换为特征向量；

根据所述问题文本聚类中包括的多个问题文本的特征向量在向量空间中的分布，确定各个所述问题文本聚类的聚类中心；

计算在所述向量空间中所述目标问题文本的特征向量与各个所述聚类中心的距离，将所述距离最小的聚类中心对应的问题文本聚类确定为所述目标问题文本所属的问题文本聚类。

5.根据权利要求1所述的方法，其特征在于，所述对所述候选答案文本进行分词，获得分词结果，包括：

对所述相关问题文本以及所述候选答案文本进行分词，获得分词结果。

6.根据权利要求1所述的方法，其特征在于，所述根据各个所述候选答案文本包括的分词以及所述分词转移概率，计算各个所述候选答案文本的概率值，包括：

从所述目标两分词组合的初始概率中获取所述候选答案文本包括的第一分词组合的初始概率，所述第一分词组合为所述候选答案文本中的前两个分词的组合；

从所述分词转移概率中获取所述候选答案文本包括的各个第二分词组合转移到第二目标分词的转移概率，所述第二分词组合为所述候选答案文本中除最后一个分词之外的连续两个分词的组合，所述第二目标分词为所述第二分词组合之后的一个分词；

将所述候选答案文本包括的第一分词组合的初始概率与所述候选答案文本包括的各个第二分词组合转移到第二目标分词的转移概率相乘，得到所述候选答案文本的概率值。