“数据抓取”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果2572083个，建议您升级VIP下载更多相关专利

[发明专利]基于Ajax的新闻网页动态数据的抓取方法及系统-CN202211493382.7在审
发明人：马志红;王国硕 -专利权人：四川文化产业职业学院
申请日： 2022-11-25 - 公布日： 2023-03-21 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了基于Ajax的新闻网页动态数据的抓取方法及系统，属于网页数据抓取技术领域，可以实现首先通过建立新闻网页动态抓取内容的数据库，人为选择多个待抓取新闻网页的新闻列表页面的URL地址，再将多个URL地址放入待检测队列，逐一访问S2中待检测队列的URL地址，再通过浏览器开发者工具判断该网站是否通过Ajax进行加载，再将符合要求的网站放入待抓取URL地址任务列表中，将待抓取URL地址任务列表中的新闻网页动态数据进行抓取时，通过对网页内图片的检测，屏蔽与新闻数据信息不相关的图片上的Ajax请求，同时在下载的任务结果中删除未检测通过的图片信息，从而提高新闻数据信息的有效性。
基于 ajax 新闻网页动态数据抓取方法系统

[发明专利]基于插件的业务处理方法及装置-CN201710971691.3有效
发明人：于光明 -专利权人：阿里巴巴（中国）有限公司
申请日： 2017-10-18 - 公布日： 2021-05-25 - 主分类号： G06F16/953 文献下载
摘要：该方法包括：客户端插件接收用户发出的包括目标业务标识的目标业务处理指令，根据目标业务标识获取目标业务的预设抓取规则，预设抓取规则包括预先设定的由客户端插件获取的目标业务的输入参数以及各输入参数的抓取方式；根据目标业务的预设抓取规则，抓取预设抓取规则中的输入参数对应的数据信息作为目标业务的输入数据；将目标业务的输入数据发送给服务端，以使服务端根据目标业务的输入数据完成目标业务的处理过程。本发明通过客户端插件完成目标业务的输入数据的自动抓取，用户只需触发目标业务的办理，而无需用户手动查询并输入输入数据，简化用户的操作流程，提高了网络平台的可用性。
基于插件业务处理方法装置

[发明专利]现场数据抓取方法-CN201910296663.5在审
发明人：王小利 -专利权人：泰州腾翔信息科技有限公司
申请日： 2019-04-14 - 公布日： 2020-10-27 - 主分类号： H04N5/232 文献下载
摘要：本发明涉及一种现场数据抓取方法，该方法包括运行一种现场数据抓取系统，在检测到外力非正常开锁的情况下，启动对车体周围场景的图像数据采集，并在定制图像处理的基础上，对现场存在的各个人体身份进行识别和备案，从而实现汽车开锁的有痕管理
现场数据抓取方法

[发明专利]现场数据抓取系统-CN201910296662.0在审
发明人：王小利 -专利权人：泰州腾翔信息科技有限公司
申请日： 2019-04-14 - 公布日： 2019-10-25 - 主分类号： H04N5/232 文献下载
摘要：本发明涉及一种现场数据抓取系统，包括：左侧球形摄像机，设置在汽车的左侧，用于在接收到非正常打开指令时，对汽车的左侧环境执行抓拍动作，以获得左侧环境图像；右侧球形摄像机，设置在汽车的右侧，用于在接收到非正常打开指令时本发明的现场数据抓取系统逻辑清楚，方便操作。由于在检测到外力非正常开锁的情况下，启动对车体周围场景的图像数据采集，并在定制图像处理的基础上，对现场存在的各个人体身份进行识别和备案，从而实现了汽车开锁的有痕管理。
现场数据抓取系统汽车球形摄像机环境图像开锁抓拍指令图像数据采集定制图像方便操作车体场景备案检测身份管理

[发明专利]数据抓取系统、方法-CN202011485713.3在审
发明人：石忠民;周锦裕 -专利权人：广州索答信息科技有限公司
申请日： 2020-12-16 - 公布日： 2021-04-09 - 主分类号： H04L12/64 文献下载
摘要：本发明提供一种数据抓取系统、方法，该数据抓取系统包括：服务器分别与交换机、客户端连接；交换机与拨号网络连接，且每个拨号网络在交换机上的对应VLAN号不同；服务器安装有至少两个虚拟操作系统，服务器通过虚拟操作系统与拨号网络连接，且每个虚拟操作系统连接的拨号网络不同，通过拨号网络访问数据源；客户端存储有动态IP池，服务器控制虚拟操作系统根据动态IP池中的IP串联访问数据源以进行数据抓取。本发明通过服务器上的多个虚拟操作系统分别连接不同的拨号网络，并利用动态IP池中的IP进行串联访问数据源，无需使用多个服务器扩展拨号网络，减少了服务运行的成本费用，且能够对不同的链接使用特定的链路进行访问，提高了数据抓取的效率。
数据抓取系统方法

[发明专利]一种网络资讯的采集和分析方法及系统-CN201610277727.3在审
发明人：吴斌;谢晓勇;黄俊;胡春华;陈志雄;胡浩 -专利权人：优品财富管理有限公司
申请日： 2016-04-28 - 公布日： 2016-09-21 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种网络资讯的采集方法及系统，所述方法包括以下步骤：S1：为预设的抓取节点分配抓取任务，所述抓取任务至少对应于一个目标网络的网络地址；S2：接收所述抓取节点发送的所抓取到的数据信息，并根据所述数据信息提取出目标数据并将所述目标数据存入目标数据库中，所述目标数据包括：关于所述数据信息的标题、来源、发布时间和正文内容；S3：判断当前的所述目标数据与所述目标数据库中的其他目标数据的重复度。本发明采取智能的技术方式采集资讯，极大的突破了人工资讯采集处理的瓶颈，还有程序自动建立资讯关键信息索引，为资讯大数据应用建立坚实基础。
一种网络资讯采集分析方法系统

[发明专利]一种区块链账本数据抓取解析方法-CN202110662349.1有效
发明人：曾青海;赵小峰;白健;安红章 -专利权人：中国电子科技网络信息安全有限公司
申请日： 2021-06-15 - 公布日： 2022-04-01 - 主分类号： G06F16/27 文献下载
摘要：本发明公开了一种区块链账本数据抓取解析方法，包括步骤：S1，指定需要抓取解析的区块链节点，与区块链节点建立连接，获取该节点中的所有通道；为每个通道启动抓取数据线程，注册事件监听程序，监听通道的出块事件，对账本数据进行抓取；S2，抓取到账本数据后，进行解析，解析出区块和交易数据；S3，将解析出的数据，按通道、区块哈希、交易哈希进行分库分表存储；S4，对数据库进行扩容；S5，对数据迁移等；本发明为区块链系统提供区块、交易数据的解析、存储、查询服务，数据按不同的区块链通道进行分区存储，可动态对存储进行扩容和迁移，同时也达到均摊数据访问的压力，提升读写性能等。
一种区块账本数据抓取解析方法

[发明专利]一种基于改进Cascade R-CNN网络的机械臂抓取检测方法-CN202310760718.X在审
发明人：王怀震;黄洋 -专利权人：山东新一代信息产业技术研究院有限公司
申请日： 2023-06-27 - 公布日： 2023-10-10 - 主分类号： B25J9/16 文献下载
摘要：本发明公开一种基于改进Cascade R‑CNN网络的机械臂抓取检测方法，涉及图像检测和机器人抓取技术领域，包括：将realsense摄像头通过平行夹持器固定在机器人机械臂末端进行手眼标定和摄像头内参标定；通过realsense摄像头拍摄包含多种物品的RGB图像，构成原始图像数据集，为原始RGB图像标注矩形抓取框，获得多目标抓取图像数据集；构建改进Cascade R‑CNN网络，并利用原始图像数据集和多目标抓取图像数据集对改进Cascade R‑CNN网络进行训练及验证；通过realsense摄像头获取RGB图像，并输入到验证合格的改进Cascade R‑CNN网络，来预测RGB图像中每个物品的可行抓取框；机械臂根据预测的可行抓取框，确定物品位置并进行抓取。本发明可以实现多物体的快速、精确抓取。
一种基于改进 cascade cnn 网络机械抓取检测方法

[发明专利]K8s中基于Calico网络插件的数据包抓取方法及系统-CN202110620336.8有效
发明人：李晶;蔡晓华 -专利权人：上海天旦网络科技发展有限公司
申请日： 2021-06-03 - 公布日： 2022-11-22 - 主分类号： H04L41/0813 文献下载
摘要：本发明提供了一种K8s中基于Calico网络插件的数据包抓取方法及系统，包括监听抓包步骤，所述监听抓包步骤包括如下步骤：抓取步骤1：Operator获取初始的配置，所述配置包括监听配置和抓包过滤配置；抓取步骤2：Operator根据所述监听配置开始监听本节点上Calico WorkloadEndpoint资源；抓取步骤3：Operator监听到有WorkloadEndpoint对象被创建；抓取步骤4：Operator获取WorkloadEndpoint对象中的字段信息；抓取步骤5：Operator根据所述抓包过滤配置和所述抓取步骤4获取的字段信息生成抓包规则；抓取步骤6：Operator根据所述抓包规则启动抓包子程序本发明能够及时获得Pod(应用)变化的信息，并对应修改数据包抓取的操作，较难丢失应用业务数据，做到不丢失或尽量少丢失应用业务数据。
k8s 基于 calico 网络插件数据包抓取方法系统

[发明专利]竞品数据抓取方法及系统-CN201811133494.5在审
发明人：周浪;吴文言;管理 -专利权人：苏州创旅天下信息技术有限公司
申请日： 2018-09-27 - 公布日： 2019-03-01 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种竞品数据抓取方法及系统，涉及计算机软件工程技术领域，旨在解决现有的竞品数据获取方法数据获取效率低下、数据获取不精确以及数据获取成本高的问题。其技术方案要点是，包括：步骤S1，录入需要抓取的竞品产品的信息；步骤S2，模拟竞品产品的下单流程；步骤S3，抓取竞品产品订单的相关爬取数据；步骤S4，对竞品产品订单的相关爬取数据进行批量抓取并新建一个订单列表；步骤S5，抓取订单列表中各个订单的订单状态信息；步骤S6，变更订单列表中各订单的相关信息；步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。本申请的技术方案达到了数据获取效率高、数据获取精确性高以及数据获取成本低的效果。
数据获取抓取数据抓取计算机软件工程订单状态信息技术方案要点产品数据相关信息录入变更重复申请

[发明专利]网页数据定向抓取方法-CN201010612405.2有效
发明人：史寿伟;李龙;向涛;李友良 -专利权人：重庆新媒农信科技有限公司
申请日： 2010-12-29 - 公布日： 2011-05-04 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种网页数据定向抓取方法，该方法利用待抓取的网页数据在网页文件中呈现的数据结构特征，对网页文件进行源代码语法规则分析，再通过正则表达式构建具有数据结构特征的数据匹配模型，对网页文件源代码进行数据匹配，并从中匹配的部分源代码提取出需要抓取的网页数据，解决了网页数据的定向抓取问题；本发明方法采用正则表达式作为匹配工具，对本领域技术人员而言具有很强的可操作性，有利于本发明方法的普及应用；针对一些数据结构特征较为复杂、提取难度较高的网页数据，本发明还提出了一种通过多级定位逐级提取待抓取的网页数据的定向抓取方案，体现了本发明方法具有较强适应能力，应用范围广泛。
网页数据定向抓取方法

[发明专利]采用PMU频率信息进行发电机组一次调频的装置和方法-CN201310065600.1无效
发明人：魏强;王刚;张江南;唐耀华;郝涛 -专利权人：河南省电力公司电力科学研究院;国家电网公司
申请日： 2013-03-01 - 公布日： 2013-06-05 - 主分类号： H02J13/00 文献下载
摘要：本发明公开了一种采用PMU频率信息进行发电机组一次调频的装置，包括PMU装置,还包括频率数据抓取发送装置，所述的频率数据抓取发送装置用于对PMU装置的频率数据进行解析并发送至发电机组的DCS或DEH，使发电机组根据所述接收到的频率数据进行一次调频，所述的频率数据抓取发送装置的输入端连接PMU装置或者PMU装置与调度中心间的通信网络，所述的频率数据抓取发送装置的输出端连接发电机组的DCS或DEH。本发明利用PMU装置检测的频率数据，通过频率数据抓取发送装置对PMU装置进行所需频率数据的抓取，并把频率数据发送到发电机组的DCS或DEH，发电机组的DCS或DEH以此数据为一次调频标准，从而使一次调频更加精准
采用 pmu 频率信息进行发电机组一次调频装置方法

[实用新型]采用PMU频率信息进行发电机组一次调频的装置-CN201320094383.4有效
发明人：魏强;王刚;张江南;唐耀华;郝涛 -专利权人：河南省电力公司电力科学研究院;国家电网公司
申请日： 2013-03-01 - 公布日： 2013-07-31 - 主分类号： H02J13/00 文献下载
摘要：本实用新型公开了一种采用PMU频率信息进行发电机组一次调频的装置，包括PMU装置,还包括频率数据抓取发送装置，所述的频率数据抓取发送装置用于对PMU装置的频率数据进行解析并发送至发电机组的DCS或DEH，使发电机组根据所述接收到的频率数据进行一次调频，所述的频率数据抓取发送装置的输入端连接PMU装置或者PMU装置与调度中心间的通信网络，所述的频率数据抓取发送装置的输出端连接发电机组的DCS或DEH。本实用新型利用PMU装置检测的频率数据，通过频率数据抓取发送装置对PMU装置进行所需频率数据的抓取，并把频率数据发送到发电机组的DCS或DEH，发电机组的DCS或DEH以此数据为一次调频标准，从而使一次调频更加精准
采用 pmu 频率信息进行发电机组一次调频装置

[发明专利]基于局域网邮件数据的抓取方法及系统-CN201610521063.0在审
发明人：马岩 -专利权人：马岩
申请日： 2016-07-05 - 公布日： 2016-12-07 - 主分类号： H04L12/26 文献下载
摘要：本发明公开了一种基于局域网邮件数据的抓取方法及系统，所述方法包括如下步骤：获取该抓取邮件数据的关键字；依据该关键字获取该关键字的类别，在局域网邮件数据中抓取该类别对应的邮件数据；在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据本发明提供的技术方案具有邮件数据抓取的优点。
基于局域网邮件数据抓取方法系统

[发明专利]数据抓取方法、装置、电子设备和存储介质-CN202210786567.0在审
发明人：王鹏;郭彪 -专利权人：北京百度网讯科技有限公司
申请日： 2022-07-04 - 公布日： 2022-09-30 - 主分类号： G06F16/951 文献下载
摘要：本公开提供了一种数据抓取方法、装置、电子设备和存储介质，涉及数据处理领域，具体为云计算和大数据领域。具体实现方案为：获取数据抓取配置信息，并解析得到应用标识和元素指向信息；根据所述元素指向信息，模拟用户操作控制所述应用标识对应的目标应用，生成目标展示页面；对所述目标展示页面进行解析，得到所述元素指向信息对应的目标元素的内容数据本公开实施例可以提高数据抓取精准性以及降低数据抓取成本。
数据抓取方法装置电子设备存储介质