[发明专利]一种在互联网中管理IDC资源的方法和运营商网络

说明书

技术领域

本发明涉及互联网技术，特别是指一种在互联网中管理IDC资源的方法和运营商网络。

背景技术

互联网中，资源引入一般有IDC(Internet Data Center，互联网数据中心)引入和缓存两种手段。通过引入IDC资源保证用户尽可能访问运营商网络内资源，减少去往其他运营商的互联互通流量。

包括域名(泛域名、子域名)和视频资源等在内的IDC资源都需要由网络内容服务商(ICP，Internet Content Provider)提供，但无法保证ICP提供的IDC资源的正确性，也无法核实缓存系统中的资源是否与IDC中的IDC资源相同。

现有技术存在如下问题：ICP提供的IDC资源不具备可控性和科学性，且IDC中网站的具体内容变化频繁，因此也不具备实时性。运营商需要时常联系ICP以核实IDC资源，降低了工作效率；其次，因为无法精确获得已引入运营商网络内的IDC资源，运营商的导航网站无法引导用户行为，其推荐的具体内容往往并不在运营商网络内，影响了用户感知和运营商的引导效果；ICP提供IDC资源的正确性较差，导致缓存系统重复缓存了相同的资源，降低了缓存的工作效能，也增加了流量结算的成本；无法快速获取分片段放置的影片中每片的信息；运营商无法及时发现和纠错ICP调度错误。

发明内容

本发明要解决的技术问题是提供一种在互联网中管理IDC资源的方法和运营商网络，解决现有技术中，由于无法精确获得已引入运营商网络内的资源，导致运营商间的互联互通频繁及缓存结算成本高昂的缺陷。

为解决上述技术问题，本发明的实施例提供一种在互联网中管理IDC资源的方法，方法包括：生成爬取任务，所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源，执行所述爬取任务，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息，将所述IDC资源和标示信息发送给互联网数据中心，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置。

所述的方法中，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息具体包括：当IDC资源是视频资源时，在一个视频资源网站上遍历并获取所有网页的URL，将视频资源所在的网页的URL作为所述标示信息的一部分；以及，将视频资源的名称和分集数目作为所述标示信息的一部分。

所述的方法中，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置具体包括：当IDC资源是视频资源时，由内容识别服务器模拟运行视频资源所在的网页中的播放插件，得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置。

所述的方法中，提取所述IDC资源的标示信息还包括：当视频资源是分片式视频资源时，监控网页中的播放插件与视频调度服务器之间的交互过程，得到播放每一片的播放清单，采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后，模拟运行网页中的快进插件到下一片。

所述的方法中，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置包括：向内容识别服务器获取每一片的真实URL，以及计算每一片在互联网数据中心的分布情况，根据所述真实URL和分布情况生成所述分析报告。

所述的方法中，分析所述IDC资源和标示信息后生成分析报告之后还包括：结合深度包检测(DPI，Deep Packet Inspection)中的日志以及所述IDC资源的分布情况，获取不同分布的IDC资源受到的关注程度。

所述的方法中，在至少一个网站上遍历网页识别出相应类别的IDC资源，以及提取所述IDC资源的标示信息具体包括：当IDC资源是域名时，根据入口域名进行爬取，发现有新域名时解析该新域名并记录在标示信息中。

所述的方法中，分析所述IDC资源和标示信息后生成分析报告之后还包括：对子域名进行归并分析得到泛域名，根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分。