[发明专利]一种基于谱聚类的内容分发网络缓存方法及系统

说明书

本发明提出一种基于谱聚类的内容分发网络缓存方法及系统包括准入策略和替换策略两部分。其中，准入策略基于谱聚类挖掘请求之间的关联性，将具有关联性的用户请求预取到CDN的HOC中，从而尽可能减少在HOC中缓存未命中情况的发生。而替换策略则利用GDSF的替换策略，基于用户请求的频率、大小和最近访问的时间来选择缓存替换的对象。此外，SpeCache设置的缓存参数不是固定的，通过在请求记录上滑动窗口来计算并按照一定的时间间隔更新相应参数，这种数据驱动的方法可以使得缓存策略随着CDN流量模式的变化而动态更新，同时也避免了历史信息的过拟合，最终提升CDN缓存的命中率。

技术领域

本发明涉及分发网络中的缓存替换技术领域，并特别涉及一种基于谱聚类的内容分发网络缓存方法及系统。

背景技术

内容分发网络(Content Delivery Network,CDN)是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器(Edge Server)，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。

CDN的核心是使用边缘服务器来加快用户请求内容的响应速度。当用户请求到达边缘服务器时，如果该服务器存储了用户请求的内容，则该边缘服务器可以直接将该内容返回给用户。但是，如果用户请求的内容不在边缘服务器中，则边缘服务器需要向源服务器(Origin Server)发送内容请求，并获取内容，上述过程增大了用户获取内容的时延，同时降低了服务质量。CDN通过将内容存储在地理位置上接近用户的边缘服务器中，提高用户请求内容的响应速率。但是，边缘服务器上的存储资源有限，并不能缓存所有用户请求内容。而从源服务器获取请求的内容，会增加用户请求的响应时延，同时带来从边缘服务器到源服务器的网络带宽开销。因此，保障用户请求尽可能多的在边缘服务器中命中是提高CDN服务质量的第一要义。

CDN服务器采用层次化的存储架构。第一层通常是一个容量小但速度快的内存缓存(In memory Cache)，在CDN中称之为“流行对象缓存”(Hot Object Cache,HOC)。第二层则为容量大但速度相对较慢的磁盘缓存(Disk Cache,DC)。从源服务器获取请求内容后，边缘服务器将其交付给用户，同时，边缘服务器将该内容存储在DC中，HOC根据其准入策略(Admission Policy)，决定是否将该内容存储到HOC中。当用户请求的内容在HOC中不存在，需要从DC或源服务器获取该内容并存储到HOC中，但HOC的剩余容量不足以存储它时，HOC要根据其替换策略(Eviction Policy)，替换出一个或多个已经存储的内容，为新的内容腾出空间。由于用户从HOC中获取内容的速度比从DC中获取的速度快，因此，设计恰当的准入策略和替换策略，让用户请求的内容尽可能多的在HOC中命中，是提高CDN的性能和服务质量的第二要义。

“请求命中率”(Object Hit Ratio,OHR)表示在HOC中命中的用户请求数与请求总数之比。而OHR的值是衡量缓存方案的性能的重要指标之一，也是本发明重点关注的指标。

缓存策略包括准入策略和替换策略。在设计缓存策略时，用户请求内容的最近请求时间(Recency)，频率(Frequency)和请求内容的大小(Size)是需要需要考虑的主要因素。学术界对于CDN中HOC缓存策略的研究，大多只关注缓存替换策略。所有请求的对象都可以被缓存，且上述因素中的一个或多个作为策略设计的基础。最近最少使用策略(LeastRecently Used,LRU)是一种非常流行的缓存替换策略。该策略认为最近使用过的数据在未来访问的可能性较大，而很久都没请求过的数据再次被请求的概率较小，因此优先替换最近最少被请求的内容来为新的请求内容腾出空间。根据中的统计数据，包括Varnish和Nginx在内的大多数流行的开源Web缓存系统都使用LRU作为替换算法。其他替换策略，例如LRFU，LFU-DA，GDS，GDSF，ARC和Cliffhanger基于更复杂的访问特征来选择替换的内容。