[发明专利]数据采集方法、装置、存储介质及电子设备在审
申请号: | 202110763195.5 | 申请日: | 2021-07-06 |
公开(公告)号: | CN113434848A | 公开(公告)日: | 2021-09-24 |
发明(设计)人: | 王晓东;李瑞强;张巍;李妍;李明娜;金鹏;应智强;郭雪征 | 申请(专利权)人: | 李瑞强 |
主分类号: | G06F21/44 | 分类号: | G06F21/44;G06F21/31 |
代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 张晓芳 |
地址: | 010010 内蒙古*** | 国省代码: | 内蒙古;15 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 采集 方法 装置 存储 介质 电子设备 | ||
1.一种数据采集方法,其特征在于,所述方法包括:
获取身份认证信息和数据获取请求;
解析所述数据获取请求获取目标地址,所述目标地址对应目标服务器;
将所述身份认证信息发送至所述目标地址对应的目标服务器,以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接;
通过所述通信连接,将所述数据获取请求和数据采集请求发送至所述目标服务器,以获取目标服务器存储的所述数据采集请求对应的第一目标数据;其中,所述数据获取请求对应第二目标数据,所述第一目标数据和所述第二目标数据不相同;
存储所述第一目标数据。
2.根据权利要求1所述的方法,其特征在于,所述获取电子设备发送的身份认证信息和数据获取请求之前,还包括:
获取所述数据采集请求,所述数据采集请求中包括针对所述第一目标数据的采集请求。
3.根据权利要求1所述的方法,其特征在于,所述获取身份认证信息和数据获取请求,包括:获取用户终端发送的身份认证信息和数据获取请求;
所述通过所述通信连接,将所述数据获取请求和数据采集请求发送至所述目标服务器,以获取目标服务器存储的所述数据采集请求对应的第一目标数据之后,所述存储所述第一目标数据之前,包括:
通过所述通信连接获取所述数据获取请求对应的第二目标数据;
所述存储所述第一目标数据之后,还包括:
存储所述第二目标数据,以及将所述第二目标数据发送给所述用户终端。
4.根据权利要求3所述的方法,其特征在于,所述存储所述第一目标数据之后,所述存储所述第二目标数据,以及将所述第二目标数据发送给所述目标服务器之前,还包括:
基于预设的数据采集规则,获取所述第二目标数据中所述数据采集规则对应的目标采集字段;
所述存储所述第二目标数据,以及将所述第二目标数据发送给所述用户终端,包括:
存储所述第二目标数据中的目标采集字段,以及将所述第二目标数据发送给所述用户终端。
5.根据权利要求4所述的方法,其特征在于,所述第二目标数据为HTML格式的网页数据;
所述基于预设的数据采集规则,获取所述第二目标数据中所述数据采集规则对应的目标采集字段,包括:
将所述为HTML格式的网页数据的第二目标数据转换为XML格式的网页数据;
基于预设的数据采集规则,抓取所述XML格式的网页数据中的目标采集字段。
6.根据权利要求1所述的方法,其特征在于,所述存储所述第一目标数据后,还包括:
销毁所述通信连接。
7.根据权利要求3所述的方法,其特征在于,所述存储所述第二目标数据,以及将所述第二目标数据发送给所述用户终端,包括:
存储所述第二目标数据;
将所述第二目标数据对应的格式转换成所述用户终端能够直接展示的页面格式,获取格式转换后的第二目标数据;
将所述格式转换后的第二目标数据发送给所述用户终端。
8.一种数据采集装置,其特征在于,所述装置包括:
获取请求模块,用于获取身份认证信息和数据获取请求;
解析地址模块,用于解析所述数据获取请求获取目标地址,所述目标地址对应目标服务器;
发送认证模块,用于将所述身份认证信息发送至所述目标地址对应的目标服务器,以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接;
获取数据模块,用于通过所述通信连接,将所述数据获取请求和数据采集请求发送至所述目标服务器,以获取目标服务器存储的所述数据采集请求对应的第一目标数据;其中,所述数据获取请求对应第二目标数据,所述第一目标数据和所述第二目标数据不相同;
存储数据模块,用于存储所述第一目标数据。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~7任意一项的方法步骤。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于李瑞强,未经李瑞强许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110763195.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种芒果苷提取分离方法
- 下一篇:电力现货市场中分布式特征数据选择方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置