“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]数据的爬取方法及装置-CN201811277896.2有效
发明人：陆生辉 -专利权人：北京国双科技有限公司
申请日： 2018-10-30 - 公布日： 2023-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据的爬取方法及装置，涉及爬虫技术领域，提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。本发明的方法包括：当数据爬取模块获取到目标WebView对象时，创建目标WebView对象对应的动态代理，其中，数据爬取模块为在Xposed框架下创建的Xposed模块；将动态代理作为参数添加至预设脚本函数中，其中，预设脚本函数为数据爬取模块对应的执行脚本中的函数，执行脚本用于爬取目标WebView对象对应的数据内容；数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容；通过动态代理获取执行脚本爬取的数据内容本发明适用于数据爬取客户端爬取WebView界面中的数据内容的过程中。
数据方法装置

[发明专利]网页爬取方法及装置-CN201811145540.3有效
发明人：何熠皓 -专利权人：北京国双科技有限公司
申请日： 2018-09-29 - 公布日： 2023-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页爬取方法及装置，涉及爬取技术领域。本发明主要解决了现有技术中无法基于预先创建的爬取架构形成一个新的爬取架构对网页进行爬取的问题。本发明的方法包括：获取目标网页的域名，并确定与所述域名相匹配的规则；判断预先创建的第一爬取构架中是否包含与所述域名相匹配的至少部分规则；若所述第一爬取构架中包含与所述域名相匹配的至少部分规则，则从所述第一爬取构架中继承所述至少部分规则；根据所述至少部分规则，创建第二爬取架构，通过所述第二爬取构架对所述目标网页进行爬取。本发明可广泛应用于爬取网页的场景中。
网页方法装置

[发明专利]网页数据的爬取方法及装置-CN201811161352.X有效
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2018-09-30 - 公布日： 2023-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页数据的爬取方法及装置，涉及爬虫技术领域，主要目的在于解决现有的爬取的网页数据中存在大量冗余，影响爬取数据的准确性的问题。本发明的方法包括：接收到爬取指令时，确定待爬取网页元素及所述待爬取网页元素对应的元素标签；根据所述元素标签从已爬取的网页内容数据中获取第一内容数据，所述元素标签中存储有已爬取网页元素与已爬取网页内容数据的对应关系；判断所述第一内容数据与第二内容数据是否一致，所述第二内容数据为待爬取网页元素对应的网页数据；若不一致，则爬取所述第二内容数据。本发明适用于爬取网页中的数据。
网页数据方法装置

[发明专利]一种网络贴文标引系统及标引方法-CN201210540674.1有效
发明人：宋传宝;王树强;张作职 -专利权人：北京海量融通软件技术有限公司
申请日： 2012-12-13 - 公布日： 2016-11-16 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网络贴文标引系统及标引方法。该系统包括贴文提供模块、背景信息提取模块、背景分析引擎、文本标引模块和标引融合模块；其中，背景信息提取模块用于分离网络贴文的背景信息和贴文内容，分别提供给背景分析引擎和文本标引模块进行标引，背景分析引擎和文本标引模块的标引结果送入标引融合模块中进行融合，作为网络贴文的最终标引结果。本发明融合文本标引模块的标引结果和背景分析引擎的标引结果，对网络贴文的标引不再仅仅依据贴文内容本身，而是通过对网络贴文其他背景信息的标引得到其隐含的语义，使得相应的标引结果更加全面准确。
一种网络标引系统方法

[发明专利]一种数据爬取方法及装置-CN201811157671.3在审
发明人：陆生辉 -专利权人：北京国双科技有限公司
申请日： 2018-09-30 - 公布日： 2020-04-07 - 主分类号： G06F8/30 文献下载
摘要：本发明公开了一种数据爬取方法及装置，涉及爬虫技术领域，利用在Xposed框架下编写通用的Xposed模块来优化爬取应用程序的数据信息的方法，增强Xposed模块的通用性，节约开发成本，同时轻量化Xposed模块，也有助于提高Xposed模块处理性能，本发明的主要技术方案为：守护进程获取数据爬取任务；所述守护进程将所述数据爬取任务下发至数据爬取模块，以使所述数据爬取模块从应用程序中爬取数据信息；所述守护进程接收所述数据爬取模块根据所述数据爬取任务从所述应用程序中爬取的数据信息本发明应用于爬取应用程序上的数据信息。
一种数据方法装置

[发明专利]一种爬虫翻页策略的检测方法及装置-CN201811142844.4有效
发明人：张野 -专利权人：北京国双科技有限公司
申请日： 2018-09-28 - 公布日： 2023-04-07 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种爬虫翻页策略的检测方法及装置，其中，方法包括：获取网站的目标网页数、预设爬取网页数以及实际爬取网页数；所述目标网页数为包含目标信息的网页数；所述预设爬取网页数为爬虫能够爬取网页数的上限值；所述实际爬取网页数为爬虫实际爬取的网页数；依据所述目标网页数、所述预设爬取网页数以及所述实际爬取网页数，检测所述爬虫翻页策略是否正常。通过本申请实施例，使得依据网站的目标网页数、预设爬取网页数以及实际爬取网页数可以检测当前爬虫的翻页策略是否正常。
一种爬虫翻页策略检测方法装置

[发明专利]一种通用的网络爬虫模型实现方法及系统-CN201710846672.8在审
发明人：韩吉威 -专利权人：湖北省楚天云有限公司
申请日： 2017-09-15 - 公布日： 2017-11-24 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种通用的网络爬虫模型实现方法及系统；其中的方法主要包括获取待处理的爬虫爬取任务；以统一资源定位符URL为爬取任务执行粒度将所述爬虫爬取任务转化为多个爬虫爬取任务对象；由针对所述多个爬虫爬取任务对象而动态创建的至少一个网络爬虫实例针对所述多个爬虫爬取任务对象执行网络数据爬取操作；针对各网络爬虫实例爬取到的对应同一爬虫爬取任务的网络数据进行整理后，存储于数据集合中。
一种通用网络爬虫模型实现方法系统

[发明专利]一种基于对分页参数加密的反网络爬虫的方法-CN201811617924.0在审
发明人：于桃;戴立伟 -专利权人：深圳竹云科技有限公司
申请日： 2018-12-28 - 公布日： 2019-03-26 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及一种基于对分页参数加密的反网络爬虫的方法，本发明步骤为：S1.客户端和服务端约定一套加密协议；S2.客户端对分页参数基于内部约定的加密协议做映射；S3.客户端发送分页请求时，携带的参数为加密后的密文；S4.服务端收到客户端发送的密文参数后，根据加密协议解密密文，响应结果给客户端，客户端进行页面展示。实施本发明可以提高网站资源被恶意爬取的难度；防止各类爬虫工具消耗大量网站资源；降低了将普通用户识别为爬虫的可能性。
客户端加密协议参数加密网络爬虫网站资源服务端发送分页解密密文密文参数爬虫工具响应结果页面展示用户识别爬虫密文映射加密发送消耗携带

[发明专利]数据爬取方法及装置、存储介质及电子设备-CN202111333310.1在审
发明人：陈程 -专利权人：北京搜房科技发展有限公司
申请日： 2021-11-11 - 公布日： 2022-01-14 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种数据爬取方法及装置、存储介质及电子设备，该方法包括：当接收到用户发送的任务创建指令时，向用户展示任务创建页面；获取用户在任务创建页面中输入的包含站点信息的任务创建信息，并根据任务创建信息生成爬取任务；基于用户提供的采集配置数据、解析配置数据定义爬取任务；对爬取任务进行处理，以便基于采集配置数据和解析配置数据从与站点信息对应的网站中爬取数据。基于用户输入的任务创建信息生成爬取任务，并基于采集配置数据以及解析配置数据，定义爬取任务，通过对爬取任务进行处理，实现需求网站的数据爬取，该过程无需开发网络爬虫程序即可爬取数据，节省了技术排期时间，降低了爬取数据的技术壁垒，提高爬取任务的效率。
数据方法装置存储介质电子设备

[发明专利]一种财经博客文本分析方法-CN201911142631.6有效
发明人：张国威;胡汤磊;杨杰;诸葛瑜亮 -专利权人：国元证券股份有限公司
申请日： 2019-11-20 - 公布日： 2023-06-06 - 主分类号： G06F16/35 文献下载
摘要：本发明公开了一种财经博客文本分析方法，爬取博客数据，对博文进行两类分类，对博文进行看涨看跌看平分类；通过将一段时期内博主所有博文的分类情况与其对应的接下来若干个交易日股市的涨跌情况比较来判断该博主看涨看跌的准确性,若博文的看涨看跌与股市的涨跌一致，则认为该博文预测正确，否则预测错误；计算一段时间内博主所有博文的准确率，然后根据准确率的高低对博主进行排序，将其划分不同的区间，对博主给予等级评定。本发明能够对财经博客的前几名的博主进行有效排序，他们在看盘准确率上相对较高，发表的关于股市交易指导的博文是有一定参考价值的，可考虑最为日常资讯推送给重要客户参考，一定程度上减少投资者的投资失误。
一种财经博客文本分析方法

[发明专利]爬取应用程序数据的方法、装置、电子设备及存储介质-CN202210694437.4在审
发明人：朱雨朦 -专利权人：云账户技术（天津）有限公司
申请日： 2022-06-20 - 公布日： 2022-07-22 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种爬取应用程序数据的方法、装置、电子设备及存储介质，其中方法包括：接收到用户通过交互端发送的对目标应用程序的数据爬取任务，对目标应用程序是否安装完成进行第一检验；若所述第一检验的检测结果为所述目标应用程序安装完成，确定爬取数据的起始位置；根据所述爬取数据的起始位置，执行本次的所述数据爬取任务，以爬取目标数据并将所述目标数据发送至所述交互端；根据本次的所述数据爬取任务，生成爬取记录，将所述爬取记录存储至数据库；本发明具备高通用性、高可移植性以及爬取效率高。
应用程序数据方法装置电子设备存储介质

[发明专利]一种直播网页爬取方法及装置-CN201710946257.X有效
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2017-10-12 - 公布日： 2021-04-27 - 主分类号： G06F16/953 文献下载
摘要：本发明公开了一种直播网页爬取方法及装置，该方法包括：接收直播网页爬取指令，所述直播网页爬取指令包括直播时段、目标直播网页地址；在直播时段内，将目标直播网页地址所对应的目标直播网页加载至预设浏览器的标签页中；若目标直播网页在标签页中加载完成，将预定义的爬取脚本文件嵌入到标签页中；实时检测目标直播网页是否符合预设爬取条件，并在符合预设爬取条件的情况下，运行爬取脚本文件，爬取目标直播网页上的直播数据。这就可以在直播网页运行的过程中不断爬取直播数据，从而保证所爬取直播数据的全面性。
一种直播网页方法装置

[发明专利]基于Docker的数据采集方法、装置及计算机设备、存储介质-CN201910548256.9在审
发明人：林岳鹏;吕东玉;张川 -专利权人：平安国际智慧城市科技股份有限公司
申请日： 2019-06-24 - 公布日： 2019-11-15 - 主分类号： G06F16/951 文献下载
摘要：本发明属于大数据技术领域，涉及一种基于Docker的数据采集方法、装置及计算机设备、存储介质，所述方法包括获取数据采集任务，根据所述数据采集任务向至少一个云服务器发送爬取程序容器的镜像；根据所述爬取程序容器的镜像在每个所述云服务器中生成至少一个爬取程序容器，所述爬取程序容器中运行爬取程序成为爬取节点；将所述数据采集任务发送至所述爬取节点中，并通过所述爬取节点对所述数据采集任务执行数据采集操作。本发明提供的方案通过Docker技术，可将爬取程序容器镜像发送至至少一个云服务器，且同一云服务器中可自动部署多个爬取节点，占用系统资源少，可有效利用云服务器资源，实现爬取节点按需增加，各爬取节点之间隔离性强
程序容器数据采集云服务器发送计算机设备系统稳定性存储介质获取数据任务发送任务执行系统资源自动部署大数据隔离性采集占用

[发明专利]一种人工智能信息处理系统、方法及可读存储介质-CN202011186199.3在审
发明人：乌斯曼·可·尼亚齐 -专利权人：广州市西美信息科技有限公司
申请日： 2020-10-29 - 公布日： 2021-01-08 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种人工智能信息处理系统、方法及可读存储介质，包括：对用户进行信息爬取时所得到的爬取信息进行类别划分与信息增强并上传至云端；获取云端针对信息增强后的爬取信息所创建的初始信息爬取模型，通过迭代法对各自的初始信息爬取模型进行训练，并将训练后的初始信息爬取模型发送至云端；云端通过融合算法对各中间件训练后的初始信息爬取模型进行融合得到目标信息爬取模型，并将该目标信息爬取模型下发至用户端进行互联网信息的爬取。本发明能够对当前海量的、无规则的数据进行准确爬取与分析，减少达到指定信息爬取精度所需的网络开销，满足了实际应用需求。
一种人工智能信息处理系统方法可读存储介质

[发明专利]一种高效网络爬取方法及装置-CN202210061069.X在审
发明人：付圣峰;楚立鹏;成霄;范强;孙慧;刘俊荣;王亮亮;张仁群;张博;王永皎;尤晓艳 -专利权人：中国电子科技集团公司电子科学研究院;青岛智汇泰鼎科技开发有限公司
申请日： 2022-01-19 - 公布日： 2022-05-06 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种高效网络爬取方法及装置，本发明基于预设关键词和初检的种子URL来设置分布式爬虫框架，通过该分布式爬虫框架来对排名后的种子URL排名进行数据爬取，然后在对所爬取的URL重新进行URL排名，再基于该新URL排名再次进行数据爬取，重复执行这一步骤，直到重复执行爬取数据的次数达到预设的数据爬取次数阈值时候结束数据爬取，最后将所爬取到的所有URL中与预设关键词的匹配度超过预设匹配度阈值的URL作为最终爬取结果也即本发明是不断对所爬取到的URL进行排名，然后按照排名来进行数据爬取，从而实现高效地对快速扩张的网络资源规模进行有效爬取。
一种高效网络方法装置