[发明专利]一种基于机器学习的超密集网络小站缓存方法

摘要

本发明公开了一种基于机器学习的超密集网络小站缓存方法，首先在非高峰访问期引入K均值聚类方法分析历史访问数据，挖掘文件请求的空时模式，根据小站服务用户的文件偏好进行聚类，找出小站内流行的文件，实现类间的个性化缓存与类内的预测性缓存，同时利用历史访问数据与聚类结果构建用于新文件分类的训练集；然后在高峰访问期引入k近邻分类方法周期性地对不断出现的新文件进行分类，并缓存在偏好这类文件的小站类内；最后结合各类小站内历史流行文件与不断出现的新文件制定实时更新的缓存策略。本发明基于机器学习制定缓存策略，能充分利用小站有限的缓存空间存储小站所服务人群最需要的文件，显著降低系统回程链路负载，极大提升用户满意度。

主权项

基于机器学习的超密集网络小站缓存方法，其特征在于，包括如下步骤：步骤1：采集网络信息及历史文件请求记录，设置参数：采集网络中宏站集合小站集合历史请求文件集合对应的各文件大小记为向量s＝[s1,s2,...,sC]，第(l‑2)天的(t‑τ,t]时间间隔内P个小站对C个文件的请求次数记为矩阵第(l‑1)天的(t‑τ,t]时间间隔内P个小站对C个文件的请求次数记为矩阵代表实数，其中，l代表日期标号，以天为单位，时间间隔τ为高峰访问期T的时长，t为高峰访问期的结束时刻；获得小站缓存空间S；运营商根据超密集网络中的小站数目设置小站聚类数目最大值Kmax；历史请求文件阈值δc，设置为第c个文件的总请求次数除以小站的数目；类缓存文件阈值设置为第j类的小站数目除以2，K是类的个数；训练集大小Dtrain由文件数目C和文件请求次数矩阵Al‑2(t,τ)共同确定；步骤2：利用K均值聚类分析文件请求次数矩阵Al‑2(t,τ)，对小站进行聚类，挖掘文件请求中的空间模式：步骤3：把文件请求次数矩阵Al‑2(t,τ)转换为由元素0和1组成的文件请求指示矩阵其中[·]pc代表矩阵的第p行第c列的元素，代表指示函数，当花括号内的条件满足时，函数值为1，否则为0；步骤4：通过选取集合Ωj，所指示的矩阵的对应行生成第j类小站的文件请求指示矩阵步骤5：根据文件请求指示矩阵以及对应的类缓存文件阈值选取各类小站偏好的文件优先缓存：如果则把c归为该类小站偏好的文件并存入向量否则，存入向量由与组成历史文件缓存顺序向量步骤6：在不超过小站缓存空间S的前提下，结合历史文件缓存顺序向量与文件大小向量s＝[s1,s2,...,sC]进行文件缓存；定义元素全0的缓存决策矩阵XK(t)，如果小站p缓存了文件c，则矩阵元素[XK(t)]pc＝1；步骤7：根据公式(5)计算第(l‑1)天的系统回程链路负载：其中⊙代表哈达玛乘积，向量f的第c个元素为1是元素全为1的矩阵，向量g的第c个元素为步骤8：利用从第(l‑2)天文件请求次数矩阵Al‑2(t,τ)中得到的缓存决策矩阵XK(t)及第(l‑1)天文件请求次数矩阵Al‑1(t,τ)挖掘文件请求中的时间模式，设置K＝K+1，比较K和小站聚类数目最大值Kmax，若K<Kmax，则回到步骤2；否则，进行第步骤9；步骤9：选取使公式(5)系统回程链路负载最小的聚类个数K，记录此聚类情况下的历史文件缓存顺序向量步骤10：基于步骤3得到的文件请求指示矩阵与步骤9历史文件缓存顺序向量中的创建用来分类新文件的训练集其中列向量c∈{1,2,...,Dtrain}是矩阵的第c列，表示P个小站对第c个文件的请求次数，yc∈{1,2,...,Y}是给第c个文件添加的类别，C代表组合数，类别yc通过查找缓存顺序向量中是否存在文件c来添加；步骤11：设置第l天的采集新文件起始时刻t为高峰访问期起始时刻加上τ′，τ′为采集文件时间间隔；步骤12：采集第l天的(t‑τ′,t]时间间隔内的新文件请求记录，新文件集合为对应的各文件大小记为向量s＝[s1,s2,...,sC′]，P个小站对新出现的C′个文件的请求次数矩阵记为新请求文件阈值ρi，设置为第i个文件的总请求次数除以小站的数目；采用交叉验证法来选取最近邻的个数k；步骤13：把新文件请求次数矩阵Al(t,τ′)转换为由元素0和1组成的新文件请求指示矩阵步骤14：矩阵的第i列是P个小站对第i个新文件的请求次数列向量，记为利用k近邻分类新请求的文件：步骤15：根据新文件类别yi，把新文件以标号(i+Ctotal)添加到相应的文件缓存顺序向量中，Ctotal为在步骤9得到的小站偏好文件缓存顺序向量中的文件数与第l天高峰访问期时刻(t‑τ′)之前请求的新文件数之和；步骤16：联合考虑历史受欢迎文件与新请求文件产生新的文件缓存顺序向量步骤17：在不超过小站缓存空间S的前提下，结合与文件大小向量s＝[s1,s2,...,sC′]进行文件缓存；步骤18：如还在高峰访问期，每隔一段时间间隔τ′，在t＝t+τ′时刻执行步骤12到步骤17更新缓存的文件；如高峰访问期结束，进行第步骤19；步骤19：停止执行。