[发明专利]一种信息采集还原方法

说明书

技术领域

本发明涉及互联网信息采集技术领域，特别是一种信息采集还原方法。

背景技术

WEB类应用基于HTTP协议，种类繁多，包括目前比较热门的社交类网站、邮箱类网站、BBS类网站、博客类网站、游戏类网站、搜索类网站、在线聊天类网站等。还原WEB类应用的登陆与内容，对网络安全、色情监控等有着非常重要的作用。传统的协议还原方法是基于数据包搜索的，按顺序分析每个HTTP数据包，从而分析出相应的应用协议，并在HTTP内容字段分析出登陆信息，发帖信息等内容。在网络流量小，WEB应用种类少的网络环境中，基于数据包搜索的方法也是可行的，但是如今的网络流量越来越大，WEB类应用在所有网络应用中所占的比例越来越高，而基于数据包搜索的方法的效率也越来越低，同时从事协议还原人员的工作量也越加繁重，所以传统协议还原的方法已经不能满足如今的网络环境。需要一种新的方法来还原WEB类应用的内容。

发明内容

本发明需要解决的技术问题是一种能快速有效复原数据的信息采集还原方法。

为解决上述的技术问题，本发明的一种信息采集还原方法，包括以下步骤，

(1)根据WEB类应用数据包特征，写成WEB类应用模板文件；

(2)读取模板文件并解析，把解析出的关键字组成一个结构体，形成模板链表；

(3)将待还原WEB类应用数据包的HTTP头部解析，并取得头部内容；

(4)采用匹配算法，将解析出的头部内容中的关键字与模板中的关键字进行比对，找出匹配的模板；

(5)解析出待还原WEB类应用数据包HTTP头部内容的关键字和关键内容位置，并将模板描述的关键字与解析出的关键字进行比对，从模板中取出匹配的内容；

(6)将匹配的内容按数据库表格式化输出，得到还原的WEB类应用内容。

进一步的，所述步骤(1)中采用WEB类描述语言将模板文件分为三部分，第一部分为模板识别部分，包括URL、HOST、POST/GET的内容，由分析某类WEB应用数据包HTTP头部得到；第二部分为关键内容描述部分，包括关键字，关键内容在数据包中的起始位置，关键内容长度，由分析某类WEB应用数据包所得；第三部分为数据类型。

进一步的，所述步骤(2)中结构体包括模板识别部分、关键内容描述部分、数据类型部分。

进一步的，所述步骤(4)中找出匹配模板的方法为：先用解析出的HOST字段比对，然后再将URL字段进行精确比对，找出匹配的模板。采用改进式Boyer-Moore算法。

进一步的，所述步骤(5)中解析WEB类应用数据包HTTP内容部分的方法为：利用WEB类应用数据包中的分割符将登陆信息或发贴内容取出，组成格式化内容结构体链表。

采用上述方法后，本发明的信息采集还原方法的数据包搜索的方法的效率得到有效的提高，同时减轻了从事协议还原人员的工作量，满足了如今的网络环境。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明模板文件导入的流程图。

具体实施方式

如图1所示，本发明的一种信息采集还原方法，包括以下步骤，

(1)根据WEB类应用数据包特征，写成WEB类应用模板文件；

(2)读取模板文件并解析，把解析出的关键字组成一个结构体，形成模板链表；

(3)将待还原WEB类应用数据包的HTTP头部解析，并取得头部内容；

(4)采用匹配算法，将解析出的头部内容中的关键字与模板中的关键字进行比对，找出匹配的模板；

(5)解析出待还原WEB类应用数据包HTTP头部内容的关键字和关键内容位置，并将模板描述的关键字与解析出的关键字进行比对，从模板中取出匹配的内容；

(6)将匹配的内容按数据库表格式化输出，得到还原的WEB类应用内容。

进一步的，所述步骤(1)中采用WEB类描述语言将模板文件分为三部分，第一部分为模板识别部分，包括URL、HOST、POST/GET的内容，由分析某类WEB应用数据包HTTP头部得到；第二部分为关键内容描述部分，包括关键字，关键内容在数据包中的起始位置，关键内容长度，由分析某类WEB应用数据包所得；第三部分为数据类型。

进一步的，所述步骤(2)中结构体包括模板识别部分、关键内容描述部分、数据类型部分。