[发明专利]一种文本模式生成方法、装置和计算设备

权利要求书

1.一种文本模式生成方法，适于在计算设备中执行，该方法包括：

获取包括多条文本数据的文本库，并对其中每行文本数据进行分词处理；

对文本库中的文本数据进行第一次遍历，统计出所有文本数据中每个单词的出现次数，并从中筛选出出现次数大于第一阈值的单词作为高频词，将高频词与该高频词的出现次数相关联的存储为高频词词典；

分别从文本库中的每行文本数据中筛选出高频词，构成该行文本数据对应的高频词元组；

根据各高频词在文本数据中的出现次数，计算任意两个高频词之间的依赖度；

对文本库中的文本数据进行第二次遍历，根据文本数据对应的高频词元组，生成每行文本数据的预选文本模式；

根据高频词之间的依赖度，对文本数据的预选文本模式进行修正，得到文本数据的修正文本模式；以及

对文本数据的修正文本模式进行相似度合并，得到文本模式库。

2.如权利要求1所述的方法，其中，在对每行文本数据进行分词处理前，还包括步骤：

将每行文本数据中的预定类型的关键词替换为预定词，所述预定类型的关键词包括时间、日期、ip地址和数字中的至少一个。

3.如权利要求1所述的方法，其中，任意两个高频词w_i和w_j之间的依赖度包括w_i出现时w_j出现的第一条件概率p(w_j|w_i)，以及w_j出现时w_i出现的第二条件概率p(w_i|w_j)，所述计算任意两个高频词之间的依赖度的步骤包括：

计算任意两个高频词w_i和w_j在同一行文本数据中出现的次数n(w_i,w_j)；

根据p(w_j|w_i)＝n(w_i,w_j)/n(w_i)计算第一条件概率，以及根据p(w_i|w_j)＝n(w_i,w_j)/n(w_j)计算的第二条件概率；

其中，n(w_i)和n(w_j)分别是高频词w_i和w_j在所有文本数据中出现的次数。

4.如权利要求1所述的方法，其中，所述对文本库中的文本数据进行第二次遍历，根据文本数据对应的高频词元组，生成每行文本数据的预选文本模式的步骤包括：

根据文本数据对应的高频词元组，统计每行文本数据中相邻两个高频词w_i和w_i+1之间的非高频词的数目m(w_i,w_i+1)；

如果m(w_i,w_i+1)≠0，则将统计到的数目m(w_i,w_i+1)以第一通配符的形式插入到高频词元组中的高频词w_i和w_i+1之间，从而得到该行文本数据的预选文本模式。