[发明专利]一种网页信息处理方法和装置

说明书

技术领域

本申请涉及网络技术领域，特别是涉及一种网页信息处理方法和装置。

背景技术

用户浏览网页是上网的一个主要需求，主要是浏览器通过HTTP协议(超文本传送协议)与Web服务器建立访问请求，Web服务器将相应的网页内容返回给浏览器。超文本传送协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到Web浏览器。HTML是一种用于创建文档的标记语言，这些文档包含到相关信息的链接，用户可以单击一个链接来访问其它文档、图像或多媒体对象，并获得关于链接项的附加信息。客户机和服务器必须都支持HTTP，才能在万维网上发送和接收HTML文档并进行交互。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。

随着网络的发展，HTTP协议也随着发展，而在HTTP1.1以前的HTTP协议版本，如HTTP1.0，即不支持网页的压缩传输，在采用HTTP1.1的很多Web服务器也未配置支持网页压缩传输的功能。并且，基于历史原因，现有网络中存在大量的采用HTTP1.0协议的Web服务器。

基于上述情况，现有技术中，对于用户浏览的各种网页中，其中可能存在大量未能以压缩模式传输的网页内容，加大了页面返回的传输时间；并且，对于存在流量限制的用户来说，浪费了用户流量。

发明内容

本申请所要解决的技术问题是提供一种网页信息处理方法和装置，对于用户浏览的各未支持网页压缩功能的各网页，降低了页面返回的传输时间，节省了用户的流量。

为了解决上述问题，本申请公开了一种网页信息处理方法，包括：

接收客户端的网页请求；

解析所述网页请求，获得客户端的接收压缩格式，并将所述网页请求转发至目标服务器；

接收目标服务器的网页请求响应后，检查所述网页请求响应的内容是否为压缩模式；

如果不是，则将所述网页请求响应的内容根据所述压缩格式进行压缩，并转发至客户端。

优选的，接收到客户端的网页请求后包括：

判断客户端的网页请求是否为动态网页请求；

如果是，则根据客户端IP地址、客户端端口、目标服务器IP地址、目标服务器端口和客户端Cookie列表构成的五元组生成会话标识，并将所述会话标识加入会话图数据结构中。

优选的，接收目标服务器的网页请求响应后，检查所述网页请求响应的内容是否为压缩模式，判断不是压缩模式之后包括：

判断所述目标服务器响应是否为动态页面；

如果不是，则对所网页进行压缩打包，在HTTP头添加压缩模式标签，并返回给用户端；

如果是，则查找所述根据客户端IP地址、客户端端口、目标服务器IP地址、目标服务器端口和客户端Cookie列表构成的五元组生成的会话标识，并将所述会话标识与响应的会话图数据结构中的会话标识进行匹配；若匹配上，则对响应的会话中的内容进行压缩打包，在HTTP头添加压缩模式标签，并返回给用户端。

优选的，根据客户端IP地址、客户端端口、目标服务器IP地址、目标服务器端口和客户端Cookie列表构成的五元组生成会话标识，并将所述会话标识加入会话图数据结构中包括：

在代理服务器添加监听事件，监听代理服务器的套接字；

代理服务器从套接字中获取客户端的网页请求报文，按超文本传输协议解析客户端IP地址和客户端端口号，目标服务器IP地址和目标服务器端口号，客户端Cookie列表；

依据得到的客户端IP地址、客户端端口号、客户端Cookie列表、目标服务器IP地址和目标服务器端口号构成的五元组，计算所述五元组的MD5值；

根据所述MD5值生成会话标识，并将所述会话标识插入相应会话图数据结构中。

优选的，接收客户端的网页请求之前还包括：

在客户端中，将客户端的网页请求中域名对应的IP地址替换为代理服务器的IP地址。

优选的，在客户端中，将客户端的网页请求中域名对应的IP地址替换为代理服务器的IP地址包括：

通过钩子函数钩取系统域名查询函数，通过所述域名查询函数将客户端的网页请求中域名对应的IP地址替换为代理服务器的IP地址。

相应的，本申请公开了一种网页信息处理装置，包括：

网页请求接收模块，用于接收客户端的网页请求；

网页请求处理模块，用于解析所述网页请求，获得客户端的接收压缩格式，并将所述网页请求转发至目标服务器；