[发明专利]一种分布式用户行为日志预测网络监管方法及系统

说明书

技术领域

本发明涉及网络监管技术领域，特别涉及一种分布式用户行为日志预测网络监管方法及系统。

背景技术

随着互联网的飞速发展，网络服务变得多种多样，丰富多彩。由于互联网从成立之初就本着开放自由的原则，越来越多的新型网络服务不断地被开发出来，并且被接入到互联网，供全球用户访问和接入。网络服务变得多种多样，丰富多彩，人与人之间的信息交流也变得更为方便。内容丰富的网络服务在给人们的生活带来了极大的方便的同时也成了不和谐信息传播的温床。因此，网络监管成为十分重要的研究课题。

网络监管的目的在于搜集、分析和处理网络信息和用户操作行为，并从中识别和提取网络服务信息和用户行为中所隐含的特定活动特征，其核心在于事先发现和预警功能。世界各国一直高度重视网络监管方面的研究，都开始建立政府、金融、关键行业的监测基础设施。如美国联邦调查局FBI早在2001年就曾提出“Carnivore”计划、法国国防部于2004年建立了“Frenchelon”系统、欧洲ERCIM组织2007年提出了网络监控会议计划、英国政府通讯总部也在2009年启动了MTI计划。各网络设备商、企业以及科研学者也积极进行相关研究，开发了各种网络行为分析产品，提出了诸多网络监测方案。在网络管理方面，有文献提出了针对异构网络的自治网络管理体系和基于策略的网络管理方法，“自管理”和“信任管理”的概念也被广泛应用于网络管理方法中。

日志记录对监管系统起着重要作用，因此，网络日志被越来越多的研究所关注。对海量的网络用户和信息的监控决定了网络监管系统的运行需要大量的数据资料，同时也会产生大量的日志记录。当前的网络监管架构一般都采用单一的日志服务器结构。基于用户操作日志预测流媒体访问行为的相关研究工作提出了一种中心化的日志收集服务器，该日志收集服务器通过收集和分析大量用户操作记录实现对流媒体访问的预测。

针对于国内的网络信息安全监管的需求，相应的网络监管系统及关键技术被不断地提出。然而，在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有的监管方式粒度不够精确，不具备特定用户对特定网络服务内容的访问控制。当前对非法服务或用户处理技术一般为：a)域名劫持；b)IP地址封锁；c)特定端口封锁；d)SSL连接阻断；e)关键字过滤阻断等。

现有的访问日志一般采用单一结构。单一化结构日志服务器在大量数据处理的时候具有一定的瓶颈，原因在于：a)大规模网络服务请求时，系统提取、分析和处理数据时延增大；b)单一节点失败问题；c)可扩展性、健壮性差；d)容易成为被攻击的重点对象等。

单一终端能力有限，大规模网络服务请求时，系统处理时延增大，不能满足网络监管的实时性要求。不具备特定用户对特定网络服务内容的访问控制。大容量网络访问数据存储必将导致系统存储空间成为性能瓶颈。可扩展性差。显然，这种单一客户/服务器(Client/Server，C/S)结构在规模和功能上不能满足高效、快速、准确网络监管的要求。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种分布式用户行为日志预测网络监管方法及系统。所述技术方案如下：

一种分布式用户行为日志预测网络监管方法，所述方法包括：

数据包采集与策略预取服务器PCPP捕获网络用户发起的网络访问请求数据包，提取访问日志，上传给日志收集与分析服务器LCA；

LCA存储所述访问日志，根据所述访问日志计算网络服务流行度；

LCA根据所述访问日志获取所述网络服务流行度相对应的k个网络服务标识；并返回给所述PCPP；

PCPP根据所述k个网络服务标识以及访问日志中的用户属性信息，向预先设定的策略库中进行策略预取，根据预取到的策略对网络用户访问请求进行监管处置。

所述PCPP采用旁路监听的方式从网络数据转发设备捕获网络用户发起的网络访问请求数据包。

所述访问日志是以四元组的形式存储的，包括网络用户所处网络的标识CNID、网络用户访问目标的IP地址DIP、网络用户访问目标的端口地址DPort以及网络服务标识URL。

所述LCA存储所述访问日志，包括：

所述LCA提取<CNID,DIP，DPort>并进行散列计算获得key值；

根据key值，LCA获得所述访问日志存储的后继结点LCA，并向该后继结点分发用户访问日志；

所述后继结点LCA接收到分发的所述访问日志后，存储所述访问日志至其网络服务访问日志库中。