[发明专利]数据采集方法、装置、存储介质及电子设备在审

专利信息
申请号: 202110763195.5 申请日: 2021-07-06
公开(公告)号: CN113434848A 公开(公告)日: 2021-09-24
发明(设计)人: 王晓东;李瑞强;张巍;李妍;李明娜;金鹏;应智强;郭雪征 申请(专利权)人: 李瑞强
主分类号: G06F21/44 分类号: G06F21/44;G06F21/31
代理公司: 北京恒博知识产权代理有限公司 11528 代理人: 张晓芳
地址: 010010 内蒙古*** 国省代码: 内蒙古;15
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 采集 方法 装置 存储 介质 电子设备
【权利要求书】:

1.一种数据采集方法,其特征在于,所述方法包括:

获取身份认证信息和数据获取请求;

解析所述数据获取请求获取目标地址,所述目标地址对应目标服务器;

将所述身份认证信息发送至所述目标地址对应的目标服务器,以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接;

通过所述通信连接,将所述数据获取请求和数据采集请求发送至所述目标服务器,以获取目标服务器存储的所述数据采集请求对应的第一目标数据;其中,所述数据获取请求对应第二目标数据,所述第一目标数据和所述第二目标数据不相同;

存储所述第一目标数据。

2.根据权利要求1所述的方法,其特征在于,所述获取电子设备发送的身份认证信息和数据获取请求之前,还包括:

获取所述数据采集请求,所述数据采集请求中包括针对所述第一目标数据的采集请求。

3.根据权利要求1所述的方法,其特征在于,所述获取身份认证信息和数据获取请求,包括:获取用户终端发送的身份认证信息和数据获取请求;

所述通过所述通信连接,将所述数据获取请求和数据采集请求发送至所述目标服务器,以获取目标服务器存储的所述数据采集请求对应的第一目标数据之后,所述存储所述第一目标数据之前,包括:

通过所述通信连接获取所述数据获取请求对应的第二目标数据;

所述存储所述第一目标数据之后,还包括:

存储所述第二目标数据,以及将所述第二目标数据发送给所述用户终端。

4.根据权利要求3所述的方法,其特征在于,所述存储所述第一目标数据之后,所述存储所述第二目标数据,以及将所述第二目标数据发送给所述目标服务器之前,还包括:

基于预设的数据采集规则,获取所述第二目标数据中所述数据采集规则对应的目标采集字段;

所述存储所述第二目标数据,以及将所述第二目标数据发送给所述用户终端,包括:

存储所述第二目标数据中的目标采集字段,以及将所述第二目标数据发送给所述用户终端。

5.根据权利要求4所述的方法,其特征在于,所述第二目标数据为HTML格式的网页数据;

所述基于预设的数据采集规则,获取所述第二目标数据中所述数据采集规则对应的目标采集字段,包括:

将所述为HTML格式的网页数据的第二目标数据转换为XML格式的网页数据;

基于预设的数据采集规则,抓取所述XML格式的网页数据中的目标采集字段。

6.根据权利要求1所述的方法,其特征在于,所述存储所述第一目标数据后,还包括:

销毁所述通信连接。

7.根据权利要求3所述的方法,其特征在于,所述存储所述第二目标数据,以及将所述第二目标数据发送给所述用户终端,包括:

存储所述第二目标数据;

将所述第二目标数据对应的格式转换成所述用户终端能够直接展示的页面格式,获取格式转换后的第二目标数据;

将所述格式转换后的第二目标数据发送给所述用户终端。

8.一种数据采集装置,其特征在于,所述装置包括:

获取请求模块,用于获取身份认证信息和数据获取请求;

解析地址模块,用于解析所述数据获取请求获取目标地址,所述目标地址对应目标服务器;

发送认证模块,用于将所述身份认证信息发送至所述目标地址对应的目标服务器,以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接;

获取数据模块,用于通过所述通信连接,将所述数据获取请求和数据采集请求发送至所述目标服务器,以获取目标服务器存储的所述数据采集请求对应的第一目标数据;其中,所述数据获取请求对应第二目标数据,所述第一目标数据和所述第二目标数据不相同;

存储数据模块,用于存储所述第一目标数据。

9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~7任意一项的方法步骤。

10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的方法步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于李瑞强,未经李瑞强许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110763195.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top