[发明专利]一种基于爬虫技术的智能URL过滤系统及其方法

权利要求书

1.一种基于爬虫技术的智能URL过滤系统，其特征在于：

本系统包括过滤模块（100）、URL过滤规则数据库（200）、智能管理模块（300）、爬虫模块（400）、网络设备（500）和用户操作模块（600）；

网络设备（500）、过滤模块（100）、URL过滤规则数据库（200）、智能管理模块（300）、爬虫模块（400）和网络设备（500）依次交互；

智能管理模块（300）和用户操作模块（600）交互。

2.按权利要求1所述的智能URL过滤系统，其特征在于：

所述的过滤模块（100）包括前后交互的数据包分析子程序（110）和数据包

过滤子程序（120）。

3.按权利要求1所述的智能URL过滤系统，其特征在于：

所述的URL过滤规则数据库（200）包括前后交互的规则数据库（210）和数据库管理系统（220）。

4.按权利要求1所述的智能URL过滤系统，其特征在于：

所述的智能管理模块（300）包括前后交互的管理模块（310）和计算模块（320）；

管理模块（310）包括URL规则修改子程序（311）、URL规则生成子程序（312）和白名单库（313），URL规则修改子程序（311）分别与URL规则生成子程序（312）和白名单库（313）交互；

计算模块（320）包括URL综合信息处理模块（321）、计算当前URL综合得分子程序（322）、URL所属域名计算得分子程序（323）、URL分类判断子程序（324）和安全网站反馈子程序（325）；URL综合信息处理模块（321）和计算当前URL综合得分子程序（322）交互；计算当前URL综合得分子程序（322）分别与URL所属域名计算得分子程序（323）、URL分类判断子程序（324）和安全网站反馈子程序（325）交互。

5.按权利要求1所述的智能URL过滤系统，其特征在于：

所述的爬虫模块（400）包括依次交互的爬取数据子程序（410）、信息提取URL子程序（420）和爬虫模块与智能管理模块消息处理子程序（430）。

6.按权利要求1-6所述智能URL过滤系统的过滤方法，其特征在于包括下列步骤：

①生成URL规则（301）；

②用户浏览相关网站，请求到相关数据包（302）；

③过滤模块拦截请求数据包，将数据包交由数据包分析子程序进行数据分析提取（303）；

④数据包分析子程序将提取到的URL传递到数据包处理子程序, 数据包处理子程序将URL与规则数据库的URL进行比较（304）；

⑤若未找到匹配URL，执行默认策略；若找到匹配URL，提取URL安全得分，根据安全得分进行数据包处理（305）。

7.按权利要求6所述的过滤方法，其特征在于所述的步骤①包含下列子步骤：

A、爬虫模块400中的爬取数据子程序爬取URL数据（401）；

B、对爬取到的数据由信息提取子程序进行信息提取（402）；

C、将提取到的信息由消息处理程序发送到智能管理模块（403）；

D、计算模块对爬虫提交的信息通过URL所属域名计算得分子程序、URL分类判断子程序、安全网站反馈子程序分别计算各自得分（404）；

E、URL所属域名计算得分子程序、URL分类判断子程序和安全网站反馈子程序将计算得分传递到URL综合得分计算子程序，URL综合得分计算子程序计算URL综合得分（405）；

F、URL综合得分计算子程序将综合得分传递到URL综合信息处理模块，URL综合得分计算子程序将URL综合得分以及其他相关信息进行综合处理，将处理得到的信息传递到管理模块的URL规则生成子程序（406）；

G、URL规则生成子程序将得到的信息生成URL规则，传递到URL规则数据库修改子程序（407）；

H、URL规则数据库修改子程序根据URL规则生成子程序传递的修改规则以及用户自定义的白名单库确定修改方式（408）。