“爬虫服务器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果8777403个，建议您升级VIP下载更多相关专利

[发明专利]一种用于网络爬虫系统的网页内容抓取方法及装置-CN201210140751.4有效
发明人：孙杰;蔡同利 -专利权人：阿里巴巴集团控股有限公司
申请日： 2012-05-08 - 公布日： 2013-11-13 - 主分类号： G06F17/30 文献下载
摘要：本申请的实施例公开了一种用于网络爬虫系统的网页内容抓取方法及装置，所述方法首先构建一IP地址数据库，记录有预设网站的域名及与该域名对应的多个IP地址；然后通过查询所述IP地址数据库，将所述网络爬虫系统欲执行抓取的目标网页地址本申请的实施例充分利用了大网站的布局特点，通过域名系统DNS查询工具，获取到各个大网站分布在全国各地的CDN结点的IP地址，或者其提供轮询服务的多个IP地址，然后把这些IP地址对应的服务器作为独立的服务器进行抓取
一种用于网络爬虫系统网页内容抓取方法装置

[发明专利]防止爬虫的方法、系统、装置和计算机可读存储介质-CN201910170804.9在审
发明人：韩旭 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2019-03-07 - 公布日： 2020-09-15 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供一种防止爬虫的方法、系统、装置和计算机可读存储介质。所述方法应用于服务器端和客户端。服务器端的方法将待显示文本分割为多段文本，然后改变该多段文本在原文本中的排序，根据改变后的排序组织多段文本，以得到web页面，此时web页面的相应内容已经是乱序文本，最终将加密后的顺序映射信息和web页面同时发送给客户端客户端的方法接收映顺序映射信息的密文和web页面，然后通过浏览器渲染并输出web页面到显示屏上，接着根据顺序映射信息修正显示屏上显示的web页面中的乱序文本，从而得到包含正确文本的web页面。由于爬虫系统一般只爬取初始的web页面，因此达到防止爬虫的目的。
防止爬虫方法系统装置计算机可读存储介质

[发明专利]基于分布式网络爬虫与NLP的资本市场舆情监测方法-CN202010998668.5有效
发明人：朱彤 -专利权人：朱彤
申请日： 2020-09-21 - 公布日： 2021-05-04 - 主分类号： G06F16/951 文献下载
摘要：本发明公开一种基于分布式网络爬虫与NLP的资本市场舆情监测方法，包括基于云服务器的分布式爬虫模块和金融文本NLP分析系统；基于云服务器的分布式爬虫，实现多进程、周期更新的公开信息抓取，并可根据使用需求快速调整系统规模；构建金融分词库、正负情感词库，通过混合样本检验、模糊聚类等算法在语料库构建过程中降低了人工标注的成本，基于监督学习算法计算文本的正、负情感倾向概率，并采用自编码器算法合成情绪指数，提高了情感判断的准确率
基于分布式网络爬虫 nlp 资本市场舆情监测方法

[发明专利]一种便于猎头整合多平台招聘信息的一键发布系统-CN201811366943.0在审
发明人：迮乐乐 -专利权人：合肥风聘网络科技有限公司
申请日： 2018-11-16 - 公布日： 2019-04-02 - 主分类号： G06Q10/10 文献下载
摘要：本发明包括一键发布平台、网络爬虫、第三方招聘平台、招聘平台账号管理服务器、简单客户管理服务器、人才资源管理服务器；一键发布平台用以根据猎头日常工作经验进行招聘意向确定，并通过意向对接收到的简历信息进行整合，最终在显示界面展示；网络爬虫用以检索和采集多个第三方招聘平台的简历信息，对采集的信息进行清洗和分类，并将处理完成的信息发送至一键发布平台。
整合发布系统简历信息网络爬虫大数据第三方多平台归类清洗发布客户管理服务器账号管理服务器资源管理服务器采集工作经验显示界面信息发送算法检索筛选分类展示

[发明专利]一种利用网络爬虫自动更新的数据库系统和自动更新方法-CN201710549160.5在审
发明人：袁聪;张智辉;李莉莉;付春;陈放 -专利权人：国政通科技股份有限公司
申请日： 2017-07-07 - 公布日： 2017-11-10 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种利用网络爬虫自动更新的数据库系统和自动更新方法，其中的系统包括用户身份证信息数据库；公安部服务器；用户生物特征信息自动更新数据库；自动更新数据库查询服务器；自动更新数据库更新服务器，用于自动查询和获取来自用户身份证信息数据库的指定用户的身份证信息查询结果、使用网络爬虫通过互联网采集与指定用户的身份证信息查询结果相关的备选用户生物特征信息,针对备选用户生物特征信息进行识别，并且将备选用户生物特征信息中被识别为对应于指定用户的身份证信息查询结果的选定用户生物特征信息存储到自动更新数据库中
一种利用网络爬虫自动更新数据库系统方法

[发明专利]基于动态加载机制的web站点对接解析方法-CN201511008567.4有效
发明人：戴瑾;邵明浩;周伟诚 -专利权人：南京大学金陵学院
申请日： 2015-12-28 - 公布日： 2018-07-13 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种基于动态加载机制的web站点对接解析方法，能对外提供支持实时更新操作的动态解析服务，包括以下步骤：提供服务器对外服务接口和支撑脚本解析；提供解析脚本的检索服务；提供解析脚本的维护；利用动态配置爬虫脚本抓获数据；在上述步骤被加载后即能通过开启服务器对外提供实时解析服务。本发明支持对同一类的多个web站点进行对接，能保证在系统服务不中断的情况下用过配置和调用最新的解析脚本得到正确的解析结果。
解析脚本动态加载服务器动态解析动态配置对外服务检索服务脚本解析解析结果实时更新实时解析系统服务爬虫加载调用中断服务配置支撑保证维护

[发明专利]一种离线下载资源的系统、方法及装置-CN201210032600.7在审
发明人：刘刚;朱臣元;尹航 -专利权人：深圳市腾讯计算机系统有限公司
申请日： 2012-02-14 - 公布日： 2013-08-14 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种离线下载数据的系统、方法及装置，本发明在离线下载资源的系统中设置了资源的种子文件服务器，包括种子文件接入服务单元、种子文件数据库单元和种子爬虫单元，其中，种子文件接入服务单元，用于从客户端获取资源的种子文件后，发送给种子文件数据库单元存储，种子爬虫单元，用于从互联网中获取资源的种子文件，存储到种子文件数据库中。当离线下载服务器要下载资源时，直接从种子文件数据库获取资源对应的种子文件，根据种子文件从互联网中下载资源。
一种离线下载资源系统方法装置

[发明专利]网络爬虫的测试方法、装置、服务器和存储介质-CN201710891661.1在审
发明人：谢永恒;何大鹏;火一莽;万月亮 -专利权人：北京锐安科技有限公司
申请日： 2017-09-22 - 公布日： 2018-03-06 - 主分类号： G06F11/36 文献下载
摘要：本申请实施例公开了一种网络爬虫的测试方法、装置、服务器和存储介质，该方法包括从测试网站对应的网页文件上随机获取测试文本；调用所述测试网站的内部查询接口，根据所述测试文本进行检索，以生成第一检索结果；运行网络爬虫以得到爬取结果本申请实施例可以提高网络爬虫的测试效率。
网络爬虫测试方法装置服务器存储介质

[发明专利]一种基于微信小程序的购物优惠券推送系统和方法-CN202110528895.6在审
发明人：孙晨;张立臣 -专利权人：广东工业大学
申请日： 2021-05-14 - 公布日： 2021-07-20 - 主分类号： G06Q30/02 文献下载
摘要：本发明公开了一种基于微信小程序的购物优惠券推送系统和方法，通过网络爬虫技术，在网络爬虫服务器中设置爬虫参数优先提取每个种类的商品中销量排名靠前且含有优惠卷的商品信息存入到云存储器中，优先将这些商品推送给用户如果没有用户想要的商品，用户可以通过用户端的购物商城模块进行商品查询，服务端接收到查询任务时，会启动网络爬虫任务对指定类型商品进行提取数据然后呈现给用户。
一种基于微信小程序购物优惠券推送系统方法

[发明专利]一种基于机器学习的商标检索系统-CN202110125561.4在审
发明人：杨磊 -专利权人：浙江知多多网络科技有限公司
申请日： 2021-01-29 - 公布日： 2021-05-28 - 主分类号： G06F16/583 文献下载
摘要：本发明涉及商标检索技术领域，且公开了一种基于机器学习的商标检索系统，包括：商标查询服务器RISi、运行有机器学习系统软件的检索代理服务器IISi、部署有网络爬虫且运行有安全认证系统软件的商标索引服务器集群JQS、以及存储有商标大数据并支持访问和下载的商标数据库RDi；所述的商标索引服务器集群JQS包括商标索引服务器JQS1、…、商标索引服务器JQSi、商标索引服务器JQSj、…、商标索引服务器JQSn；运行在商标索引服务器JQSi上的安全认证系统对检索代理服务器IIS服务器被非法调用的技术问题。
一种基于机器学习商标检索系统

[发明专利]一种基于互联网技术的造价数据收集系统-CN201811640644.1在审
发明人：夏成刚;吴沛霖;杨驰;叶晓 -专利权人：四川华信工程造价咨询事务所有限责任公司
申请日： 2018-12-29 - 公布日： 2019-05-14 - 主分类号： G06F16/28 文献下载
摘要：本发明涉及一种基于互联网技术的造价数据收集系统，属于工程造价的技术领域，其包括服务器模块、网络模块、建材采购网站模块及多个客户端模块，多个客户端模块均通过网络模块访问云服务器模块，建材采购网站模块包括多个建材采购网站单元，客户端模块包括第一处理器单元、第一人机交互单元、第一显示单元，第一人机交互单元及第一显示单元均与第一处理器单元电连接，云服务器模块包括第二人机交互单元、第二显示单元、爬虫数据抓取单元及第二处理器单元，第二人机交互单元、第二显示单元及爬虫数据抓取单元均与第二处理器单元电连接。
人机交互单元客户端模块数据收集系统单元电连接第二处理器第一处理器互联网技术爬虫数据网络模块网站模块云服务器抓取单元建材采购工程造价预算服务器模块材料价格工程造价快速收集准确度网站访问

[发明专利]一种恶意网络爬虫检测方法、装置、设备及存储介质-CN202110577313.3在审
发明人：温延龙;范渊;杨勃 -专利权人：杭州安恒信息技术股份有限公司
申请日： 2021-05-26 - 公布日： 2021-10-19 - 主分类号： H04L29/06 文献下载
摘要：本申请公开了一种恶意网络爬虫检测方法、装置、设备及存储介质，包括：获取数据请求发起端发送的与数据报文；对数据报文进行解析，得到反映所述数据请求发起端的服务器类型的目标信息，基于目标信息判定数据请求发起端的服务器是否为代理服务器；如果是，则获取代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，基于访问时间和相应的数据报文对代理服务器的恶意爬取数据行为进行检测。本申请通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步对其访问时间和数据报文进行检测，避免网站数据被代理IP恶意抓取，提高网络数据安全度
一种恶意网络爬虫检测方法装置设备存储介质

[发明专利]一种信息订阅方法、终端及计算机可读存储介质-CN201810046812.8在审
发明人：肖经柱 -专利权人：深圳市金立通信设备有限公司
申请日： 2018-01-17 - 公布日： 2018-08-03 - 主分类号： H04L29/08 文献下载
摘要：本发明实施例公开了一种信息订阅方法、终端及计算机可读存储介质，其中该方法包括：获取订阅需求信息；根据所述订阅需求信息，向服务器发送订阅请求；其中，所述订阅请求包括用于接收订阅信息的账号信息以及所述订阅需求信息，所述订阅请求用于所述服务器爬取与所述订阅需求信息匹配的目标数据；获取所述服务器根据所述订阅请求推送的目标数据。本发明实施例通过获取服务器采用网络爬虫技术爬取的与订阅需求信息匹配的目标数据，并将目标数据发送至用于接收订阅信息的账号，能够在互联网内容提供方不提供订阅服务的情况下，允许用户订阅需要的信息。
需求信息订阅请求目标数据订阅计算机可读存储介质服务器订阅信息信息订阅匹配终端网络爬虫技术服务器发送互联网内容订阅服务用户订阅账号信息提供方推送发送

[发明专利]一种反爬虫方法、服务器和客户端-CN201810118999.8有效
发明人：苏思洋;李涛 -专利权人：麒麟合盛网络技术股份有限公司
申请日： 2018-02-06 - 公布日： 2020-07-03 - 主分类号： H04L29/06 文献下载
摘要：本申请公开了一种反爬虫方法、服务器和客户端，所述方法包括：在服务器中，根据预设乱序规则，对原始数据进行乱序处理，得到与原始数据对应的乱序数据，以及确定与预设乱序规则对应的乱序标识，其中，乱序标识用于在客户端进行网页展示时将乱序数据转换为原始数据；根据乱序数据和乱序标识，生成与乱序数据对应的网页源码；在接收到客户端发送的网页访问请求后，向客户端返回网页源码，以供客户端展示原始数据，使得在客户端被爬虫爬取时，爬虫获取到的网页源码中为乱序数据，而客户端展示给用户的为乱序数据所对应的原始数据
一种爬虫方法服务器客户端

[发明专利]一种网络爬虫爬取路径的展示方法和装置-CN201811326724.X有效
发明人：汪文星;刘柏;陆炯炯 -专利权人：网易（杭州）网络有限公司
申请日： 2018-11-08 - 公布日： 2021-01-15 - 主分类号： G06F16/953 文献下载
摘要：本发明实施例提供了一种网络爬虫爬取路径的展示方法和装置，本发明实施例通过后端可以获取网络爬虫爬取的网页节点的标识信息，以及网页节点的爬取顺序，然后生成网页节点之间的层级关系，接着根据网页节点的标识信息和网页节点之间的层级关系，生成爬取路径数据，实现了在网络爬虫运行过程中，后端对网络爬虫爬取的数据进行实时处理，节省了人工离线处理的时间，提高了爬虫路径数据处理效率。进一步，在生成爬取路径数据之后，为每一个爬取路径数据分配标识信息，并保存于数据库中，保证了网络爬虫爬取数据记录的高效性和安全性，同时也节省了服务器的存储空间。
一种网络爬虫路径展示方法装置