|
钻瓜专利网为您找到相关结果 34546014个,建议您 升级VIP下载更多相关专利
- [发明专利]一种分布式深度爬取的方法、装置及介质-CN202111182163.2在审
-
李玉峰
-
上海易路软件有限公司
-
2021-10-11
-
2021-11-30
-
G06F16/951
- 本申请公开了一种分布式深度爬取方法,包括:确定待爬取目标网站;获取目标网站的检索条件和最大数据量;将预设个数的检索条件组合成目标检索条件;预设个数小于所有检索条件的个数;爬取出目标检索条件下的数据量;若数据量小于或等于最大数据量,获得目标网站的最终统一资源定位符。相比组合所有检索条件对网站爬取会获得大量无效的统一资源定位符,本申请通过结合预设个数的检索条件爬取出目标网站的数据量,预设个数小于所有检索条件的个数,大幅度提高爬取效率。爬取出的数据量小于或等于该网站的最大数据量时获得最终统一资源定位符,最终统一资源定位符都是有效的。本申请还公开一种分布式深度爬取装置及介质与方法对应,效果如上。
- 一种分布式深度方法装置介质
- [发明专利]数据下载方法及装置-CN202210163997.7在审
-
张牧宇
-
中国银行股份有限公司
-
2022-02-22
-
2022-05-24
-
H04L9/32
- 本发明公开了一种数据下载方法及装置,涉及网络安全技术领域,其中该方法包括:服务端接收客户端通过第三方中间设备发送的数据下载请求;根据数据下载请求,生成下载控制信息;利用服务端私钥对下载控制信息进行签名;将签名后的下载控制信息发送至客户端,客户端对签名后的下载控制信息进行验签,验签通过后,利用客户端私钥对签名后的下载控制信息进行二次签名,根据二次签名后的下载控制信息生成统一资源定位符,通过统一资源定位符访问服务端;客户端通过统一资源定位符访问服务端之后,对统一资源定位符进行校验;校验通过后,客户端从服务端下载数据。
- 数据下载方法装置
|