[发明专利]基于海量数据分析挖掘CDN域名的方法

摘要

本发明公开了一种基于海量数据分析挖掘CDN域名的可靠有效的方法，属于网络信技术领域。该方法首先对初始的URL信息进行URL解码，然后对解码后的URL进行HOST域名提取和正确性验证；对获取的数据进行HOST域名提取，过滤掉脏数据和数值型HOST域名；设置CDN服务IP个数的阈值M和HOST域名对应不重复的服务IP个数的阈值N；对成功提取HOST域名的数据，基于服务IP个数、不同地理位置区域以及是否使用提供CDN服务IP三个维度进行CDN域名分析发现。本发明方法紧密结合了使用CDN服务域名的特性，在分析中利用了多种精准的、有依据的分析方法，保证了分析的可靠性和准确度，为后续的网络安全应用和分析提供坚实的基础数据支持，使得相关领域有更加广泛的应用前景。

主权项

1.一种基于海量数据分析挖掘CDN域名的方法，其特征在于，包括：步骤1，对获取的数据进行HOST域名提取，过滤掉无法提取HOST域名的脏数据和数值型HOST域名；步骤2，设置阈值M和N，M,N为正整数；M为CDN服务IP个数的阈值；N为HOST域名对应不重复的服务IP个数的阈值；步骤3，对成功提取HOST域名的数据，基于服务IP个数、不同地理位置区域以及是否使用提供CDN服务IP三个维度进行CDN域名分析发现；包括：步骤301，对成功提取HOST域名的数据，按照{HOST域名，服务IP}进行重复数据删除；步骤302，以HOST域名作为KEY值进行分组，在组内统计对应不重复的服务IP及IP总数；然后执行步骤304；步骤303，利用去重后的数据，根据阈值M提取出疑似度较高的提供CDN服务的服务IP；步骤304，判断HOST域名对应不重复的服务IP总数是否通过阈值N的限制，如果通过则执行步骤305，否则判定HOST域名为未使用CDN服务；N为正整数；步骤305，将步骤304中通过判断的{HOST域名，服务IP}数据，和步骤303中提取的疑似度较高的提供CDN服务的服务IP及对应HOST域名数据进行融合；步骤306，将融合后的数据按照HOST域名为KEY值进行分组，组内统计不重复的服务IP及IP总数；步骤307，判断HOST域名对应不重复的服务IP总数是否通过阈值M限制，如果通过检验则执行步骤308，否则判定HOST域名为未使用CDN服务；步骤308，对通过步骤307检验的数据的服务IP，采用离线定位获取位置信息；步骤309，以HOST域名为KEY值分组，组内统计不重复的服务IP的位置及位置数目；步骤310：判断HOST域名对应的服务IP不重复位置的总数是否通过阈值M限制，如果通过检验则判定为CDN域名，否则判定为非CDN域名。