[发明专利]一种文本模式生成方法、装置和计算设备

说明书

本发明公开了一种文本模式生成方法，适于在计算设备中执行，该方法包括：获取包括多条文本数据的文本库，并对其中每行文本数据进行分词处理；从文本数据中统计出每个单词的出现次数，并筛选出其中的高频词，将高频词及其出现次数进行关联存储；筛选出每行文本数据中的高频词，构成该行文本数据对应的高频词元组；根据各高频词在文本数据中的出现次数，计算任意两个高频词之间的依赖度；根据文本数据对应的高频词元组，生成每行文本数据的预选文本模式；根据高频词之间的依赖度，对预选文本模式进行修正，得到文本数据的修正文本模式；以及对修正文本模式进行相似度合并，得到文本模式库。本发明还公开了对应的文本模式生成装置和计算设备。

技术领域

本发明涉及计算机与互联网技术领域，尤其涉及一种文本模式生成方法、装置和计算设备。

背景技术

随着互联网技术的蓬勃发展，计算机已经成为人们日常办公或交流必不可少的工具。用户在使用计算设备时，网络设备会生成log、url和trace等各种文本数据，这些文本数据中记载着日期、时间、使用者及动作等相关操作的描述。通过分析这些文本数据，运维人员可以实时监控系统和网络的健康状况，以及用户的使用情况等。

但是这些文本数据通常数量巨大，且较难读懂，因此，对日志数据进行数据挖掘，并从中提取有用的知识是非常有必要的。其中，可以根据这些文本数据生成文本模式，文本模式即在一段文本中经常出现的频繁信息或消息序列，在生产系统中，由于很多操作都是固定、可重复的，导致从这些网络行为中产生的文本数据存在很多规律性的文本结构。

现有技术中，可以从源码中获得文本模式，但一般源码比较难以获得。也可以通过词频和反向词频(TF-IDF)之类的自然语言特征对日志文本进行聚类。但在在每个类别中，难以保证只存在确切的一个或两个模式，从而导致生成的文本模式不够精准。

因此，需要提供一种更便捷且精确的文本模式生成方法。

发明内容

鉴于上述问题，本发明提出了一种文本模式生成方法、装置和计算设备，以力图解决或者至少解决上面存在的问题。

根据本发明的一个方面，提供一种文本模式生成方法，适于在计算设备中执行，该方法包括：获取包括多条文本数据的文本库，并对其中每行文本数据进行分词处理；对文本库中的文本数据进行第一次遍历，统计出所有文本数据中每个单词的出现次数，并从中筛选出出现次数大于第一阈值的单词作为高频词，将高频词与该高频词的出现次数相关联的存储为高频词词典；分别从文本库中的每行文本数据中筛选出高频词，构成该行文本数据对应的高频词元组；根据各高频词在文本数据中的出现次数，计算任意两个高频词之间的依赖度；对文本库中的文本数据进行第二次遍历，根据文本数据对应的高频词元组，生成每行文本数据的预选文本模式；根据高频词之间的依赖度，对文本数据的预选文本模式进行修正，得到文本数据的修正文本模式；以及对文本数据的修正文本模式进行相似度合并，得到文本模式库。

可选地，在根据本发明的方法中，在对每行文本数据进行分词处理前，还包括步骤：将每行文本数据中的预定类型的关键词替换为预定词，其中预定类型的关键词包括时间、日期、ip地址和数字中的至少一个。