“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]一种网络机器人的自动目标发现方法及其发现系统-CN202210284143.4在审
发明人：吴侃;杨阳朝;胡光岷;张杰;马军;汪淼;曾宇龙;高弘毅;李文胜;申海云;王春雷 -专利权人：深圳市网联安瑞网络科技有限公司
申请日： 2022-03-22 - 公布日： 2022-06-14 - 主分类号： G06F16/951 文献下载
摘要：为了在社交网络上爬取有价值或者关心的目标用户和贴文内容，传统的网络机器人要么使用遍历社交网络上所有用户和贴文的方式，要么使用轮询预先指派的用户或者网页列表的方式。本发明可以克服传统方式的弊端，可以自适应网络动态变化，以较小的资源自动获取到社交网络上的重要目标用户或者贴文，可自动灵活配置爬虫资源，对相对重要的目标自动分配更高的爬取频率，而对不再重要的目标自动降低爬取频率或者不再爬取
一种网络机器人自动目标发现方法及其系统

[发明专利]一种基于网络爬虫的文本信息爬取方法-CN201810705012.2有效
发明人：向湘杰 -专利权人：上海众引文化传播股份有限公司
申请日： 2018-07-01 - 公布日： 2021-08-06 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种基于网络爬虫的文本信息爬取方法，通过服务器获取网络爬虫任务的配置文件和第一文本；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度超出预设阈值，则输出第二文本。本发明基于网络爬虫进行信息获取，并针对第一文本和第二文本的相似度判定本次爬取的信息是否符合要求，所以提高了信息爬取的效率。
一种基于网络爬虫文本信息方法

[发明专利]一种网站相似度检测方法-CN201810705000.X有效
发明人：余明阳;查志勇;詹伟;向湘杰 -专利权人：国网湖北省电力有限公司信息通信公司
申请日： 2018-07-01 - 公布日： 2021-09-10 - 主分类号： G06F16/958 文献下载
摘要：本发明提供了一种网站相似度检测方法，通过服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。本发明公开的网站相似度检测方法，在现有技术的基础上，增加了网站信息智能爬取和爬取信息的相似度匹配的步骤，提高了钓鱼网站的快速识别。
一种网站相似检测方法

[发明专利]网页数据爬取方法、装置、系统及计算机可读存储介质-CN201910113261.7在审
发明人：吴启;王雪春 -专利权人：平安科技（深圳）有限公司
申请日： 2019-02-13 - 公布日： 2019-06-21 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种网页数据爬取方法，涉及数据爬取领域，该方法应用于网页数据爬取系统，该系统包括控制服务器、及与控制服务器连接的多个爬虫服务器，该方法包括：控制服务器在接收到爬虫服务器发送的第一网页数据时，对第一网页数据进行特征提取，得到第一文本特征向量；将第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；计算第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断相似度值中是否存在大于预设阈值的相似度值；本发明还提供一种网页数据爬取装置、系统及计算机可读存储介质。本发明能降低基于网络爬虫爬取得到的网页数据的重复率。
网页数据控制服务器相似度预设计算机可读存储介质指纹文本特征向量存储数据库爬虫服务器网页存储网页爬取系统特征提取网络爬虫指纹生成重复率发送

[发明专利]一种废标率的统计方法-CN201910791580.3在审
发明人：余定杰;余佳骏 -专利权人：成都市互联互通大数据科技有限公司
申请日： 2019-08-26 - 公布日： 2020-01-24 - 主分类号： G06Q10/06 文献下载
摘要：本发明公开了一种废标率的统计方法，包括以下步骤：(1)服务器获取网络爬虫任务的配置文件和第一文本，所述配置文件内含有与从网络中爬虫与第一文本内匹配的关键词的信息；(2)服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息，服务器对所述待处理信息进行查重及删除重复内容处理后得到第二文本；(3)将所述第二文本与历史信息进行整合计算出废标公司的废标率并保存和输出。
配置文件文本待处理信息服务器服务器获取爬虫统计投标历史信息网络爬虫信息整合重复内容可选整合匹配删除网络输出保存

[发明专利]一种自媒体内容热度预测方法-CN202310094440.7有效
发明人：谢丽菁;邓翼;童颖;何以然 -专利权人：成都桉尼维尔信息科技有限公司
申请日： 2023-02-10 - 公布日： 2023-04-25 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种自媒体内容热度预测方法，涉及文本分析技术领域，该方法包括：构建停用词词典，爬取平台数据得到数据集输入到第一模型，对第一模型训练得到第二模型；获取第一文章关键词；爬取预设平台的若干第二文章及热度评价数据；构造第二文章的热度距离特征向量和波动特征向量；将第二文章及热度评价数据输入第二模型，第二模型对输入的数据进行处理得到词向量数据集，将词向量数据与热度距离特征向量数据和波动特征向量数据拼接得到第一向量数据集，将第一向量数据集输入神经网络模型，再对该模型训练得到第三模型；通过第三模型对第一文章进行热度预测。
一种媒体内容热度预测方法

[发明专利]微博特定话题内高影响力用户挖掘方法-CN201811629337.3在审
发明人：张明新;刘威 -专利权人：常熟理工学院
申请日： 2018-12-29 - 公布日： 2019-05-24 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开一种微博特定话题内高影响力用户挖掘方法，包括如下步骤：(10)爬取微博话题：利用爬虫程序，爬取特定微博话题的相关真实数据；(20)网络划分：将网络划分为用户转发关系网络和用户博文转发关系网络，分析用户间不同时间转发对被转发用户影响力的贡献度；(30)用户话题转发影响力计算：基于用户转发关系网络，计算用户话题转发影响力；(40)用户自身质量计算：基于用户博文转发关系网络，计算用户自身质量；(50
转发话题关系网络用户挖掘信息传播能力微博用户影响力降序排列爬虫程序真实数据质量计算贡献度时效性网络输出传播分析

[发明专利]一种简历查重方法、简历查重系统-CN202110544936.0在审
发明人：徐波 -专利权人：多益网络有限公司;广州多益网络股份有限公司;广东利为网络科技有限公司
申请日： 2021-05-19 - 公布日： 2021-08-31 - 主分类号： G06F40/194 文献下载
摘要：招聘方服务端对简历文本进行分段文本处理，生成待查重的的文本段；招聘方服务端在生成文本段后，发起查重请求，向查重接收服务端发送文本段；查重接收服务端将接收到的文本段推进队列以待查重；爬虫服务端从队列中依次读取要爬取的文本段，并在搜索引擎中对各文本段进行搜索、爬取、匹配和数据处理，得到与各文本段相似度最高的第一文本；爬虫服务端向招聘方服务端发送第一文本；招聘方服务端根据每一第一文本与其对应的文本段的相似度计算简历的查重率。
一种简历方法系统

[发明专利]一种数据爬取方法及装置-CN201910945088.7在审
发明人：张志强 -专利权人：北京国双科技有限公司
申请日： 2019-09-30 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据爬取方法及装置，涉及数据采集技术领域，主要目的能够在快速识别爬取失败的爬取任务的基础上，快速合并爬取任务的新旧爬取结果；主要技术方案包括：根据爬取任务配置表执行数据爬取操作，并记录爬取成功的爬取任务；根据所述爬取任务配置表和记录结果，确定爬取失败的爬取任务；对爬取失败的爬取任务执行重爬操作，直至爬取成功；对爬取成功的爬取任务和重爬成功的爬取任务的爬取结果进行合并。
一种数据方法装置

[发明专利]网页数据爬取方法、装置、用户终端及可读存储介质-CN201710619263.4在审
发明人：周晶 -专利权人：上海壹账通金融科技有限公司
申请日： 2017-07-26 - 公布日： 2018-02-13 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及一种网页数据爬取方法、装置、用户终端及可读存储介质，该方法包括通过客户端嵌入的待爬取网站登录界面，接收输入的与待爬取网站对应的账户和密码，通过与待爬取网站对应的账户和密码登录待爬取网站；检测是否成功登录待爬取网站；当成功登录待爬取网站时，则判断客户端的账户与待爬取网站的账户是否匹配；当匹配时，则爬取待爬取网站中的待爬取数据；将所爬取的待爬取数据发送至服务器。上述网页数据爬取方法、装置、用户终端及可读存储介质，通过客户端来爬取待爬取网站中的待爬取数据，可以避免在服务器端爬取待爬取网站中的待爬取数据触发风控机制，导致用户账户被锁等情况的发生。
网页数据方法装置用户终端可读存储介质

[发明专利]网页爬取的方法和装置-CN201611089766.7有效
发明人：崔志伸 -专利权人：北京国双科技有限公司
申请日： 2016-11-30 - 公布日： 2021-01-22 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页爬取的方法和装置。其中，该方法包括：在翻页爬取任务中针对每页的爬取结果进行存储，并依据每页对应的爬取结果生成对应的存储标识；在翻页爬取任务爬取页面失败时，依据存储标识对应的爬取进程执行爬取操作；在翻页爬取任务结束时，依据每页对应的存储标识提取对应的爬取结果；存储翻页爬取任务的爬取结果。本发明解决了由于翻页过程中出现不可控错误时，之前爬取成功的页面将全部丢失，从而导致降低了爬取效率的技术问题。
网页方法装置

[发明专利]断点恢复方法及装置-CN201910932764.7在审
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2019-09-29 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种断点恢复方法及装置，在爬虫爬取页面出错后，会获取爬虫爬取过程中的爬虫爬取记录，然后从所述爬虫爬取记录中，筛选出末次爬取记录，末次爬取记录包括爬虫爬取出错时的爬虫爬取操作，然后基于所述末次爬取记录，进行断点恢复操作，就可以恢复了爬虫在爬取出错时的爬取操作，此后可以继续执行后续的爬取操作，本发明直接断点恢复到爬取出错时的爬取操作，实现了高效断点恢复。
断点恢复方法装置

[发明专利]一种基于密码算法的隐匿邮件地址方法-CN201810611714.4有效
发明人：文伟平;代革命 -专利权人：北京大学
申请日： 2018-06-14 - 公布日： 2020-06-02 - 主分类号： H04L29/06 文献下载
摘要：本发明公布了一种基于密码算法的隐匿邮件地址方法，使用Web/Server模式，采用Playfair密码算法，对邮件地址连同邮件地址的固有特征一同进行加密，使得加密后得到的加密密文为一串字符，完全没有保留邮件地址的固有特征，从而达到隐匿邮件地址，有效防止邮件地址被爬取的目的。本发明可采用改进中间Server的方式，Serve维护用户邮件地址到对应密文的映射表，用户注册邮件地址时，保存邮件地址和对应密文，由此提高通信效率。本发明方法简单易用，代价成本低，安全性高。
一种基于密码算法隐匿邮件地址方法

[发明专利]网页URL加密、解密方法和装置、以及存储介质和电子设备-CN202210897449.7在审
发明人：庞跃强 -专利权人：北京金堤科技有限公司
申请日： 2022-07-28 - 公布日： 2022-11-22 - 主分类号： H04L9/32 文献下载
摘要：本发明实施例公开了一种网页URL加密、解密方法和装置、以及存储介质和电子设备，其中加密方法包括：获取待加密网页URL中的明文数字；根据所述明文数字，生成密文位的密文；根据所述明文数字和所述密文生成密文位的干扰值和基因信息位的基因因子值；随机生成填充位的填充值；根据所述明文数字，采用签名函数生成校验位的签名值；将所述基因因子值，填充值和签名值，以及所述密文位的密文和干扰值进行组合，生成加密密文；根据所述加密密文生成加密的网页URL。本发明实现了一种轻量的对数字进行混淆的技术，避免了现有技术中采用对称加密算法而造成的成本大的弊端，给爬虫软件爬取网页数据提高了难度，有效维护了企业数据安全。
网页 url 加密解密方法装置以及存储介质电子设备

[发明专利]一种数据获取方法和装置-CN201510489158.4在审
发明人：李新国 -专利权人：北京国双科技有限公司
申请日： 2015-08-11 - 公布日： 2017-02-22 - 主分类号： G06F17/30 文献下载
摘要：包括：获取失败的数据爬取任务，其中，数据爬取任务至少包含：数据爬取失败的次数和数据爬取失败的时间；根据数据爬取失败的次数和/或数据爬取失败的时间，确定失败的数据爬取任务重新进行数据爬取的时间；根据重新进行数据爬取的时间，对失败的数据爬取任务执行重新数据爬取任务。通过根据数据爬取失败的次数和/或数据爬取失败的时间，确定失败的数据爬取任务重新进行数据爬取的时间，提高了数据获取的可靠性，提高了数据获取的效率。
一种数据获取方法装置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条