[发明专利]一种数据获取方法、装置及系统在审
| 申请号: | 201910646996.6 | 申请日: | 2019-07-17 |
| 公开(公告)号: | CN110347902A | 公开(公告)日: | 2019-10-18 |
| 发明(设计)人: | 张博 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
| 主分类号: | G06F16/953 | 分类号: | G06F16/953;G06F16/73;G06F21/10 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘佳 |
| 地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 目标获取 数据获取 抓取 数据服务器 装置及系统 目标数据 数据服务器请求 数据获取过程 第一模块 返回目标 加密规则 请求获取 数据地址 网络请求 预设规则 发送方 网路 破解 服务器 工作量 发送 筛选 终端 配置 | ||
本发明公开了一种数据获取方法、装置及系统,该方法应用于配置于终端或服务器上第一模块,包括:在第二模块向数据服务器请求目标数据时,抓取第二模块向数据服务器发送的至少一个网络请求;根据预设规则,从抓取到的网路请求中筛选出目标获取请求;数据服务器在接收到目标获取请求后会返回目标数据的数据地址目标获取请求的发送方;利用目标获取请求获取目标数据。在数据获取过程中,无需对加密规则进行破解,降低了数据获取的难度,减少了工作量。
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据获取方法、装置及系统。
背景技术
随着互联网技术的发展,人们在互联网上的生活也愈加丰富,越来越多的人倾向于在互联网上的视频分享平台上分享自制视频,视频分享平台如何对自制视频内侵权内容的审核也就成为了一项亟待解决的问题。
目前,在对自制视频进行审核时,需要将自制视频与版权视频进行对比,从而判断自制视频中是否包括版权视频的内容,自制视频是否包括侵权内容。其中,版权视频的获取一般需要对其源播放统一资源定位符(Uniform Resource Locator,url)所使用的加密规则进行破解,从而获取版权视频的数据地址,实现版权视频的获取。一旦版权视频的加密规则变更,则又需要重新破解,破解难度高、工作量大。
发明内容
有鉴于此,本申请实施例提供了一种数据获取方法、装置及系统,能够解决现有技术中视频获取难度高、工作量大的问题。
本申请实施例提供的数据获取方法,应用于第一模块;所述方法包括:
在第二模块向数据服务器请求目标数据时,抓取所述第二模块向所述数据服务器发送的至少一个网络请求;
根据预设规则,从抓取到的网路请求中筛选出目标获取请求;所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址;
利用所述目标获取请求获取所述目标数据。
可选的,所述利用所述目标获取请求获取所述目标数据,具体包括:
发送所述目标获取请求至所述数据服务器;
接收所述数据服务器对所述目标获取请求的应答;所述应答携带所述目标数据的数据地址;
从所述数据服务器对目标获取请求的应答中获取所述目标数据的数据地址;
利用所述目标数据的数据地址,获取所述目标数据。
可选的,所述根据预设规则,从抓取到的网路请求中筛选出目标获取请求,具体包括:
判断待选网络请求中是否包括期望域名和/或期望参数;所述待选网络请求是所述抓取到的网路请求中的任意一个;
若是,则将所述待选网络请求作为所述目标获取请求。
可选的,所述第二模块向数据服务器请求目标数据时,抓取所述第二模块向所述数据服务器发送的至少一个网络请求,之前还包括:
将所述目标数据的源url和用户登陆信息发送至所述第二模块,以使所述第二模块利用所述源url和所述用户登陆信息发送所述网络请求至所述数据服务器。
可选的,所述用户登陆信息包括所述用户登陆临时文件,所述将所述目标数据的源url和用户登陆信息发送至所述第二模块,之前还包括:
判断所述用户登陆临时文件是否有效;
若否,则重新登录所述数据服务器获得有效的用户登陆临时文件。
可选的,所述将所述目标数据的源url和用户登陆信息发送至所述第二模块,之前还包括:
判断所述用户登陆信息的使用频率是否超于预设阈值;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910646996.6/2.html,转载请声明来源钻瓜专利网。





