“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]对爬取控制指令的处理方法及装置-CN201910942188.4在审
发明人：何熠皓 -专利权人：北京国双科技有限公司
申请日： 2019-09-30 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种对爬取控制指令的处理方法及装置，可以获得爬取控制指令，识别所述爬取控制指令中的各标记token，确定识别的所述token的参数，所述参数包括类型和/或值；生成与所述token对应的语法树节点，所述语法树节点携带有对应的所述token的参数；根据所述token的参数，设置在所述爬取控制指令中相邻的token对应的语法树节点在语法树中的位置，获得语法树；将所述语法树转换为表达式树；根据所述表达式树生成可执行对象，以使计算机执行所述可执行对象后实现所述爬取控制指令的控制结果。本发明提供了一种可以通过简易易懂的爬取控制指令对信息爬取过程进行控制的方案，该爬取控制指令可以被本发明转换为可执行对象，无需技术人员熟悉编程语言。
控制指令处理方法装置

[发明专利]一种基于知识图谱的爬取种子列表更新方法及装置-CN201710119956.7有效
发明人：刘钊岐;沈颂;林友勇;张芬 -专利权人：中电海康集团有限公司
申请日： 2017-03-02 - 公布日： 2020-05-12 - 主分类号： G06F16/31 文献下载
摘要：本发明公开了一种基于知识图谱的爬取种子列表更新方法及装置，该方法从初始的爬取种子列表中选取一个种子，爬取该种子的网页，从该种子的网页中提取出所有链接的URL作为新种子，爬取新种子的网页，并基于知识图谱计算出新种子对应的网页内容与搜索主题的相似度，然后用新种子的相似度与设定的相似度阈值进行比对，如果新种子的相似度大于设定的相似度阈值，则将该新种子加入爬取种子列表中，否则直接丢弃该新种子。本发明能有效过滤与搜索主题相似度不高的网页，逐步调整网页爬取的方向，提高了爬取网页的准确度以及爬取网页的效率。
一种基于知识图谱种子列表更新方法装置

[发明专利]IP调用方法及装置、存储介质、电子设备-CN201710313757.X在审
发明人：苑海江;张硕硕;刘元俊 -专利权人：北京京东金融科技控股有限公司
申请日： 2017-05-05 - 公布日： 2017-08-29 - 主分类号： H04L29/12 文献下载
摘要：本公开是关于一种IP调用方法及装置，该IP调用方法包括配置IP切换策略以及IP接口；响应爬虫应用通过所述IP接口发送的包括待爬取网站URL的IP调用请求；根据所述待爬取网站URL以及所述IP切换策略为所述爬虫应用分配可调用IP以使所述爬虫应用根据所述可调用IP爬取待爬取网站。该方法可以提高爬虫应用的爬取效率，同时还可以提高IP的利用率。
ip 调用方法装置存储介质电子设备

[发明专利]爬虫系统-CN201511001550.6在审
发明人：邹奇峰 -专利权人：乐视网信息技术（北京）股份有限公司
申请日： 2015-12-28 - 公布日： 2016-08-17 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种爬虫系统，包括：网页分析器，用于对网页进行分析，并从DNS服务器获取网页的IP地址，生成爬取任务；任务模块，用于将所述爬取任务存储到任务队列；以及爬虫模块，用于从所述任务队列中获取所述爬取任务，爬取网页数据。本发明实施例的爬虫系统和爬虫方法，在网页分析中执行DNS查询，避免DNS查询在爬取过程中造成管道阻塞，提高爬虫效率。
爬虫系统

[发明专利]网站内容的检测方法及装置-CN201510605160.3有效
发明人：冯鸳鹤;孙德彬 -专利权人：北京国双科技有限公司
申请日： 2015-09-21 - 公布日： 2020-03-03 - 主分类号： G06F16/958 文献下载
摘要：其中，该方法包括：获取爬取页面集合中任意一个列表页面；获取第一爬取内容和第二爬取内容，其中，第一爬取内容为在目标时间段内的第一时刻爬取列表页面的内容，第二爬取内容为在目标时间段内的第二时刻爬取列表页面的内容；获取第一字符串和第二字符串，其中，第一字符串是由第一爬取内容中链接的链接地址按照预设顺序拼成的字符串，第二字符串是由第二爬取内容中链接的链接地址按照预设顺序拼成的字符串；以及根据第一字符串和第二字符串检测在目标时间段内目标网站的内容是否有更新
网站内容检测方法装置

[发明专利]一种细胞爬片、细胞爬片拾取装置、细胞培养板及应用方法-CN202010368791.9有效
发明人：盛小龙;李珂瑶;于峻懿;尹文思;陈旭东 -专利权人：湖南省肿瘤医院
申请日： 2020-04-29 - 公布日： 2023-07-21 - 主分类号： C12M3/00 文献下载
摘要：本发明公开了一种细胞爬片、细胞爬片拾取装置、细胞培养板及应用方法，细胞爬片的爬片本体的边缘设有偏心孔；细胞爬片拾取装置包括套筒和插设于套筒中的内芯杆，内芯杆的一端设有弹性骨架；细胞培养板包括培养板本体和培养板盖，培养板本体上设有培养孔，培养孔的底部设有圆柱状平台，且当细胞爬片同心置于圆柱状平台上时偏心孔位于圆柱状平台的外侧；应用方法包括利用细胞爬片拾取装置将带有偏心孔的细胞爬片从细胞培养板中取出的步骤。本发明的细胞爬片、细胞爬片拾取装置、细胞培养板及应用方法便于科研工作者拾取和收集细胞爬片，一方面能够防止细胞爬片碎裂，另一方面也能避免细胞爬片上原本生长均匀的细胞被破坏。
一种细胞拾取装置细胞培养应用方法

[发明专利]网页的爬取方法和装置-CN201510605292.6在审
发明人：崔志伸 -专利权人：北京国双科技有限公司
申请日： 2015-09-21 - 公布日： 2017-03-29 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网页的爬取方法和装置。其中，该方法包括在网络爬虫爬取目标网页时，检测目标网页是否有分页；当检测出目标网页有分页时，爬取目标网页的全部分页。本发明解决了现有技术中爬取网页过程中的数据遗漏的技术问题。
网页方法装置

[发明专利]一种多网站并行爬取的IP代理池的构建系统和方法-CN202111407941.3在审
发明人：周小敏;应鸿晖;林国池;石易;麦丽娟;莫凡;林佳涛;黄福鸿;李高翔;卓采标;杨慧强;廖淑敏;宋宜昌;周毅;黄正国;吴冠标;李新;蒋维;曹勇;高欢 -专利权人：国家计算机网络与信息安全管理中心广东分中心;天津市国瑞数码安全系统股份有限公司
申请日： 2021-11-19 - 公布日： 2022-03-04 - 主分类号： H04L61/5061 文献下载
摘要：本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。
一种网站并行 ip 代理构建系统方法

[发明专利]获取房价的方法、装置、计算机设备和存储介质-CN201810956655.4在审
发明人：王先锋 -专利权人：中国平安人寿保险股份有限公司
申请日： 2018-08-21 - 公布日： 2019-02-19 - 主分类号： G06F16/951 文献下载
摘要：本发明提出的获取房价的方法、装置、计算机设备和存储介质，其中方法包括：获取第一房产网站的第一CSS样式；根据所述第一CSS样式配置第一爬取规则；根据所述第一爬取规则爬取所述第一房产网站的页面数据，并通过所述页面数据获得房价数据，本方法通过获取房产网站的CSS样式来配置爬取规则，从而实现爬取需要的房价数据，操作简单，适用面宽，且这样爬取的效率高，能够实时将得到房价数据存储到数据库中，以便统一清洗处理。
网站计算机设备存储介质页面数据样式清洗处理数据存储样式配置数据库配置统一

[发明专利]基于语义的电力计量数据处理方法、装置和计算机设备-CN202110913455.2在审
发明人：郑楷洪;李胜;周尚礼;龚起航;曾璐琨;杨庚 -专利权人：南方电网数字电网研究院有限公司
申请日： 2021-08-10 - 公布日： 2021-11-12 - 主分类号： G06F16/951 文献下载
摘要：所述方法包括：获取待爬取网页；根据所述待爬取网页与电力计量主题的相关度，对所述待爬取网页进行内容爬取，获取爬取结果；将所述爬取结果与电力计量的知识单元数据库中对应的知识单元对应存储，所述知识单元数据库包括各知识单元
基于语义电力计量数据处理方法装置计算机设备

[发明专利]一种整合性网络消费系统及其方法-CN201811545007.6在审
发明人：赖彦宏 -专利权人：赖彦宏
申请日： 2018-12-17 - 公布日： 2020-06-23 - 主分类号： G06Q30/02 文献下载
摘要：本发明提供一种整合性网络消费系统及其方法，尤指一种新型态的网络消费系统以纵向的思维来设计与众不同的商务平台，用户在同一网络平台的贴文上完成购物，当使用者选择购买过的商品通过发文系统嵌入在贴文上，当其他使用者点击该贴文内的商品而购买时，该提供贴文的使用者便可获取奖励金。
一种整合网络消费系统及其方法

[实用新型]一种细胞爬片专用显色盒-CN202120038737.8有效
发明人：闫茜茜;薛玲玲;庄盼 -专利权人：浙江卫未生物医药科技有限公司
申请日： 2021-01-05 - 公布日： 2021-11-02 - 主分类号： G01N21/78 文献下载
摘要：本实用新型提供了一种细胞爬片专用显色盒，属于细胞爬片技术领域。该细胞爬片专用显色盒包括盒体组件、爬片放置组件和盖板组件。操作人员通过支撑板将爬片放置柱顶端推出安装孔，过程中第一滑杆和第二滑杆沿盖板滑动，减少支撑板的倾斜，通过第一密封环和安装孔的摩擦力固定住爬片放置柱，操作人员通过镊子夹取细胞爬片放入爬片放置柱顶端或者从爬片放置柱顶端取下细胞爬片，由于细胞爬片离开安装孔，操作人员可从多个位置取放细胞爬片，便于操作，取放时间短，有效的改善现有的细胞爬片显色盒不便于细胞爬片取放的问题。
一种细胞专用显色

[发明专利]一种数据产品制作管理与发布系统-CN202210509681.9在审
发明人：徐微;王琼;姚力 -专利权人：武汉镝次元数据科技有限公司
申请日： 2022-05-11 - 公布日： 2022-08-12 - 主分类号： G06F16/215 文献下载
摘要：本发明提供了一种数据产品制作管理与发布系统，包括：数据抓取子系统、数据处理子系统、数据录入子系统以及数据展示子系统；数据抓取子系统用于对网站进行数据爬取，获得爬取数据，并将爬取数据存储至目标数据库中；数据处理子系统用于从目标数据库中获得爬取数据，并对爬取数据进行处理，获得待录入数据；数据录入子系统用于获取待录入数据的属性信息，并基于属性信息和待录入数据生成目标数据产品；数据展示子系统用于将目标数据产品进行展示。本发明可实现从在网站上进行数据爬取到根据爬取数据生成目标数据产品的完整过程，可供用户直观、清晰的获取想要的数据信息。
一种数据产品制作管理发布系统

[发明专利]空气质量信息的自动生成及发送方法、装置、设备及介质-CN202011340573.0有效
发明人：于鹏程;卓流艺;秦东明;张燕青 -专利权人：中科三清科技有限公司
申请日： 2020-11-25 - 公布日： 2021-10-08 - 主分类号： G06F16/951 文献下载
摘要：该方法包括：获取爬取周期阈值；分别控制多个代理节点中的爬虫程序以大于爬取周期阈值的爬取周期登录待爬取网站，并对各待爬取网页进行渲染，得到已渲染网页；分别控制多个代理节点中的爬虫程序协同爬取各已渲染网页的数据；将爬取得到的网页数据与规则库内的预设规则进行关联分析；根据关联分析的结果以及所述预设规则中的告警条件，生成告警信息并发送告警信息。
空气质量信息自动生成发送方法装置设备介质

[发明专利]基于JMeter的网站数据自动爬取方法-CN202011156240.2在审
发明人：杨雪梅;唐军;刘楚雄 -专利权人：四川长虹电器股份有限公司
申请日： 2020-10-26 - 公布日： 2021-01-22 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及web领域，具体涉及一种基于JMeter的网站数据自动爬取方法，避免了从前端界面爬取数据过程中涉及的大量的复杂JS操作，同时也避免了因为一些网站对一定时间内HTTP请求次数及访问频率的限制而造成数据爬取过程漫长或者直接爬取失败技术方案概括为，确定需要进行数据爬取的目标网站，然后对目标网站进行数据分析，获取数据接口以及数据接口相应的属性信息，在JMeter端执行数据接口，检查数据接口中的请求参数以及对应的响应结果是否符合预期设定，符合预期就对数据接口进行参数动态配置，对数据接口的响应提取字段参数进行动态配置，并对输出目标文件进行动态配置，设置好相应动态配置后，设置反爬机制开始爬取数据。本发明实用于网站数据自动爬取。
基于 jmeter 网站数据自动方法

首页
«上一页
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
下一页»
尾页
共 100000 条