专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果4个,建议您升级VIP下载更多相关专利
  • [发明专利]一种基于异步处理框架的具有自动测试功能的数据爬取方法-CN202110059894.1在审
  • 康辉;孙鑫;赵旭;李佳辉;卢凌锋 - 吉林大学
  • 2021-01-18 - 2021-04-06 - G06F16/951
  • 本发明属于网络爬虫技术领域,涉及一种基于异步处理框架的具有自动测试功能的数据爬取方法。本发明基于网络爬虫领域较成熟的网络爬虫框架,在面对网站设计之初加入各种反爬虫策略的网站爬取任务,尤其是通过脚本动态生成网站数据的任务,需要在蜘蛛的项目文件发出初始请求链接经过引擎和队列到达下载中间件时,引入自动测试技术,达到获取动态网页源代码的目的。该方法获取的网页响应结果是经过脚本渲染之后的,并且可以通过自动测试技术自定义控制浏览器完成一系列链操作的目的,进而节省了开发人员对目标网站的架构分析过程,降低了项目开发难度,更多时间可以被投入到网页解析上面,也提高了所爬取数据的质量,缩短了项目开发周期。
  • 一种基于异步处理框架具有自动测试功能数据方法
  • [发明专利]一种基于异步处理框架的具有自动测试功能的数据爬取方法-CN202010747535.0在审
  • 康辉;孙鑫;赵旭;李佳辉;卢凌锋 - 吉林大学
  • 2020-07-30 - 2020-10-30 - G06F16/951
  • 本发明属于网络爬虫技术领域,涉及一种基于异步处理框架的具有自动测试功能的数据爬取方法。本发明基于网络爬虫领域较成熟的网络爬虫框架,在面对网站设计之初加入各种反爬虫策略的网站爬取任务,尤其是通过脚本动态生成网站数据的任务,需要在蜘蛛的项目文件发出初始请求链接经过引擎和队列到达下载中间件时,引入自动测试技术,达到获取动态网页源代码的目的。该方法获取的网页响应结果是经过脚本渲染之后的,并且可以通过自动测试技术自定义控制浏览器完成一系列链操作的目的,进而节省了开发人员对目标网站的架构分析过程,降低了项目开发难度,更多时间可以被投入到网页解析上面,也提高了所爬取数据的质量,缩短了项目开发周期。
  • 一种基于异步处理框架具有自动测试功能数据方法

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top