“爬虫软件”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果203854个，建议您升级VIP下载更多相关专利

[发明专利]一种爬虫自动化部署方法、系统、计算机设备、及介质-CN202210791022.9在审
发明人：李亚平;翟锦修;郑泽标 -专利权人：广州鑫景信息科技服务有限公司
申请日： 2022-07-05 - 公布日： 2022-11-04 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种爬虫自动化部署方法、系统、计算机设备、及介质，其技术方案要点是：所述方法包括：构建爬虫项目；将运行爬虫项目所需的第一文件清单和用于构建第一文件清单内的软件环境的代码文件存储在爬虫项目中；根据所述爬虫项目在对应的服务器上查询docker容器；判断对应的docker容器中是否缺少运行第一文件清单中的软件环境，若为是，则根据对应软件环境的代码文件执行对应的运行代码；根据所述爬虫项目在对应的服务器上部署爬虫程序；本申请具有能够自动部署运行爬虫程序的优点
一种爬虫自动化部署方法系统计算机设备介质

[发明专利]一种基于RPA的爬虫方法-CN202211329585.2在审
发明人：李波;岳永胜 -专利权人：四川启睿克科技有限公司
申请日： 2022-10-27 - 公布日： 2023-02-03 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于RPA的爬虫方法，通过在RPA软件中组件化爬虫脚本，通过傻瓜式拖拽操作高效完成爬虫开发工作；借助RPA软件执行时模拟人为操作特点，规避大多数反爬虫手段；具有技术要求低、效率高、隐蔽性好等特点
一种基于 rpa 爬虫方法

[发明专利]基于频次统计的软著模型加权功能点分析评估方法-CN202211024569.2在审
发明人：李广新;杨健君;邓华;陆道健;黄泽滨;刘小燕 -专利权人：电子科技大学广东电子信息工程研究院汕尾分院;汕尾市电子信息产业技术研究院有限公司
申请日： 2022-08-25 - 公布日： 2022-11-04 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及计算机技术领域，具体是指基于频次统计的软著模型加权功能点分析评估方法，包括评估系统和评估方法，所述评估系统由爬虫信息抓取单元和软件评估单元组成，所述爬虫信息抓取单元通过爬虫技术抓取信息，所述软件评估单元用于根据爬虫信息抓取单元抓取的信息进行软件项目或模型的大小或价格，评估时加入调整因子，引用加权法，使得功能点分析法在软件模型的评估中可以抓住核心点。
基于频次统计模型加权功能分析评估方法

[发明专利]一种网络爬虫技术在杀毒软件上的应用方法-CN201410445204.6在审
发明人：姚王平 -专利权人：上海尧博信息科技有限公司
申请日： 2014-09-03 - 公布日： 2016-04-06 - 主分类号： G06F21/56 文献下载
摘要：本发明公开了一种网络爬虫技术在杀毒软件上的应用方法，具体步骤如下所示:第一步，将网络爬虫技术程序导入查杀软件中；第二步，服务器搜索带有恶意信息网页的URL；第三步，服务器对恶意信息进行压缩打包；第四步，该网络爬虫技术在杀毒软件上的应用方法采用网络爬虫自动收索恶意网页然后进行压缩打包，集体查杀，查杀的过程中遇到非恶意信息是自动释放，大大提高了查杀的效率和准确率，查杀过的恶意软件还会生产记忆抵抗，以防止下次再次攻击服务器，这种网络爬虫技术在杀毒软件上的应用方法为我们获取目标户籍信息提供了方便有效的方法。
一种网络爬虫技术杀毒软件应用方法

[发明专利]一种基于互联网信息的软件开发系统和方法-CN201910514583.2在审
发明人：张召 -专利权人：安徽嘉亨软件开发有限公司
申请日： 2019-06-12 - 公布日： 2019-09-20 - 主分类号： G06F8/30 文献下载
摘要：本发明公开了一种基于互联网信息的软件开发系统，包括客户端、源码数据库、软件开发工具、云端数据库、爬虫工具和后台服务器，其特征在于：客户端包括登录模块和身份验证模块，登录模块用于采集软件开发用户输入的登录信息，身份验证模块验证用户输入的登录信息；爬虫工具用于获取互联网上与软件开发相关的信息，爬虫工具包括软件信息查询模块、信息下载模块和软件分析模块，用户通过软件信息查询模块根据需开发的软件对互联网上的软件进行信息查询，信息下载模块对查询到的信息进行下载，并发送给软件分析模块，通过对互联网上的信息进行检索，便于开发人员根据查找的信息，对软件的开发提供可靠的数据参考，给软件开发带来便利。
爬虫工具软件开发系统身份验证模块信息下载模块互联网信息查询模块登录模块登录信息软件分析软件开发软件信息客户端互联网开发软件开发工具后台服务器源码数据库采集软件数据参考信息查询云端下载并发检索数据库验证查询查找便利

[发明专利]一种流量识别方法及相关装置-CN202211725567.6在审
发明人：罗嘉远;李志泫;许朝阳;白云鹏;陶磊 -专利权人：深信服科技股份有限公司
申请日： 2022-12-30 - 公布日： 2023-04-28 - 主分类号： H04L47/2483 文献下载
摘要：本申请实施例公开了一种流量识别方法及相关装置，应用于采集器，所述采集器包括爬虫模块以及虚拟专用网络VPN软件，方法包括：根据接收到的VPN软件启动命令，启动所述VPN软件；通过所述爬虫模块对网站进行访问，并对访问流量进行监听，生成监听流量；通过所述VPN软件的进程名确定所述VPN软件的源端口号；基于所述监听流量，根据所述源端口号识别出所述VPN软件产生的流量，并对所述VPN软件产生的流量打上VPN流量标签
一种流量识别方法相关装置

[发明专利]一种网络信息数据分类采集方法-CN202011565108.7在审
发明人：李锦基;黄永权;王勋;符伟杰;骆新坤;李明东 -专利权人：深圳市高德信通信股份有限公司
申请日： 2020-12-25 - 公布日： 2021-04-09 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络信息数据分类采集方法，包括以下步骤：采集准备：在云服务器内部创建数据库，云服务器的内部运行着信息采集分类软件，信息采集分类软件的信息采集端采用多个网络爬虫，每个网络爬虫对应至少一个分类参数，确定每一个分类参数对应的参数值；搭建链接：先是确定需要采集网络信息数据的类型，然后选择适合采集网络信息数据的网站或网络地址，通过信息采集分类软件与相应的网站；本发明通过网络爬虫抓取目标网站或网络地址的数据信息，并且事先确定待采集数据的至少一个分类参数，分类进行数据信息采集，每一个分类对应列表页面的内容较少，因此可以利用网络爬虫将列表页面上的数据信息全部采集下来。
一种网络信息数据分类采集方法

[发明专利]一种基于隐马尔可夫模型的恶意网络爬虫检测方法-CN201710281763.1在审
发明人：罗日红;蔡君 -专利权人：广东亿荣电子商务有限公司;广东技术师范学院
申请日： 2017-04-26 - 公布日： 2017-07-18 - 主分类号： H04L29/06 文献下载
摘要：本发明提出一种基于隐马尔可夫模型的恶意网络爬虫检测方法，属于计算机软件的技术领域。恶意网络爬虫在未经允许的情况下恶意抓取网站的敏感信息以及隐私数据，同时其野蛮式的流量行为模式也会对网站的服务质量造成不良的影响。现有网络爬虫检测方法不能准确地识别出恶意网络爬虫，误判率较高。因此，本发明提出一种新的基于隐马尔可夫模型的恶意网络爬虫检测方法，具体包括（1）基于HMM的用户HTTP流量建模，（2）基于HTTP的网络爬虫行为建模。
一种基于隐马尔可夫模型恶意网络爬虫检测方法

[发明专利]一种基于行为平衡度的垂直类网络爬虫检测识别方法-CN202011306830.9有效
发明人：刘兰;刘浪洲;何康健 -专利权人：广东技术师范大学
申请日： 2020-11-19 - 公布日： 2022-08-30 - 主分类号： H04L9/40 文献下载
摘要：一种基于行为平衡度的垂直类网络爬虫检测识别方法，属于计算机软件的技术领域。垂直类网络爬虫是一种针对网站数据进行定点定向爬取的网络程序，相比于传统的网络爬虫，这种爬虫的行为模式更加隐秘，对网站服务器资源占用较低，但是其行为会严重危害到网站的信息安全，造成极大的数字资产损失。现有的网络爬虫检测方式对高频恶意爬虫流量检测效果明显，对垂直类爬虫检测效果不佳，识别准确率较低。因此，本发明提出一种基于行为平衡度的垂直类网络爬虫检测识别方法，具体包括：（1）基于网站页面信息量的合理停滞时间建模；（2）基于不同跃迁深度访问的行为平衡度建模。
一种基于行为平衡垂直网络爬虫检测识别方法

[发明专利]一种网络爬虫任务调度方法及装置-CN201711088266.6在审
发明人：陈开冉;邓楚健 -专利权人：广州探迹科技有限公司
申请日： 2017-11-07 - 公布日： 2018-02-16 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种网络爬虫任务调度方法及装置，涉及软件工程领域，用以解决现有的爬虫任务调度存在需要频繁读写数据库，数据库容易堵塞，造成工作效率低的问题。该方法包括第一调度器收到第一爬虫任务，根据第一爬虫任务的状态确定第一爬虫任务的类型；当确认为延时处理时，确定与延时处理对应的执行时间并将第一爬虫任务存储在缓存数据库；第二调度器在更新周期遍历缓存数据库，确定到达执行时间时，将与执行时间对应的第一爬虫任务发送至内存优先级队列内；第三调度器采用时间片轮转算法从内存优先级队列内的依此获取爬虫任务，直至第一爬虫任务被从内存优先级队列内取出。
一种网络爬虫任务调度方法装置

[发明专利]一种基于移动互联网的APP开发系统及发布方法-CN201711411565.9在审
发明人：虞扬 -专利权人：合肥弹刚信息科技有限公司
申请日： 2017-12-23 - 公布日： 2018-06-19 - 主分类号： G06F17/30 文献下载
摘要：本发明公开一种基于移动互联网的APP开发系统，包括爬虫抓取模块、数据处理模块、数据存储模块和软件开发模块；爬虫抓取模块用于通过互联网技术获取与APP软件开发相关的信息；数据处理模块用于对获取的与APP软件开发相关的信息进二次筛选、提取；软件开发模块为软件人员推荐软件参考事例并对软件人员输入的错误进行提示；APP发布方法中通过对APP版本地址进行调取、解压获得APP版本文件信息，对APP版本文件中的版本内容参数进行正确率审查，正确率达到本发明为APP软件开发人员提供可靠的数据参考，降低错误率，提高了开发的效率，同时，通过软件发布方法降低了软件发布的错误率，提升用户体验。
抓取数据处理模块移动互联网爬虫开发系统软件发布软件开发错误率正确率发布开发数据存储模块互联网技术版本内容版本文件二次筛选数据参考文件信息用户体验调取解压提示参考审查

[发明专利]一种可视化爬虫代码编写与调试方法-CN202010884239.5在审
发明人：陈开冉;黎展;马帅 -专利权人：广州探迹科技有限公司
申请日： 2020-08-28 - 公布日： 2020-12-18 - 主分类号： G06F11/36 文献下载
摘要：为了解决编程技术薄弱的用户难以使用现有网络爬虫软件的问题，本公开提供了一种可视化爬虫代码编写与调试方法及系统，便于编程技术薄弱的用户使用。包括：接收用户输入的模式选择指令；根据模式选择指令进入第一模式或第二模式；进入第一模式后，获取用户输入的第一指令；基于第一指令爬取所需的第一目标数据；进入第二模式后，生成用于供用户输入爬虫脚本代码的代码编码区，并获取用户输入的第二指令；基于第二指令，将代码编码区中的爬虫脚本代码提交到外部的爬虫调度系统，获取爬虫调度系统根据爬虫脚本代码执行爬虫任务时所爬取的第二目标数据。本申请还公开了相应的系统，本公开的系统和方法便于编程技术薄弱用户使用网络爬虫爬取所需数据。
一种可视化爬虫代码编写调试方法

[发明专利]基于垂直搜索及语义标注获取软件安全缺陷的方法-CN201010168804.4有效
发明人：李晓红;刘丰煦;杜洪伟;许光全;徐超 -专利权人：天津大学
申请日： 2010-05-11 - 公布日： 2010-08-25 - 主分类号： G06F17/30 文献下载
摘要：本发明属于可信计算领域，涉及一种基于垂直搜索及语义标注获取软件安全缺陷的方法：首先使用领域搜索爬虫爬取万维网上已公布的安全缺陷信息网页，安全缺陷领域过滤训练器则为搜索爬虫完成该任务提供有力的过滤支持；其次针对这些下载的网页进行语义标注，使得网页带有语义信息并让机器可以理解；然后设计标注解析工具对标注的信息进行进一步信息抽取；最后为软件安全缺陷知识库以及软件安全漏洞分析使用这些信息提供接口。本发明能够为构建软件安全缺陷知识库和软件安全漏洞分析提供大量的数据和有力的支持。
基于垂直搜索语义标注获取软件安全缺陷方法

[发明专利]一种基于管理大数据的仿真实训系统-CN201810348246.6在审
发明人：蔡丽煌 -专利权人：蔡丽煌
申请日： 2018-04-18 - 公布日： 2018-09-28 - 主分类号： G06Q50/20 文献下载
摘要：一种基于管理大数据的仿真实训系统，包括网络爬虫单元和信息处理单元、管理单元、信息同步处理单元、推送单元、信息接收单元、实训单元、信息获取处理单元，网络爬虫单元和信息处理单元、管理单元是安装在管理方PC机内的应用软件，信息同步处理单元、推送单元、信息接收单元、实训单元是安装在管理方实训系统内的应用软件，信息获取处理单元是安装在管理方教学老师PC机内的应用软件、手机内的APP。本发明实际使用中，网络爬虫单元实时抓取互联网本专业实训相关网页内容，管理单元将实训系统分为简单、较难、难三个等级，远端教学人员能和实训人员互动交流，就实训过程中出现的问题实时给出实训人员合理化建议，由此提高实训人员的训练效果
处理单元网络爬虫单元管理单元应用软件管理方仿真实训系统信息处理单元信息接收单元实训系统推送单元信息获取信息同步大数据抓取人员互动网页内容训练效果合理化建议手机远端教学互联网管理老师交流

[发明专利]一种软件开发系统及其开发方法-CN202110911556.6在审
发明人：魏巧琳 -专利权人：苏州信倍合材料科技有限公司
申请日： 2021-08-10 - 公布日： 2021-12-03 - 主分类号： G06F8/38 文献下载
摘要：本发明公开的属于软件开发技术领域，具体为一种软件开发系统及其开发方法，包括控制器和服务器，所述控制器连接有爬虫工具模块，所述爬虫工具模块连接有框架控制模块和数据信息下载模块，所述数据信息下载模块连接有一次代码临时数据库，所述一次代码临时数据库连接有筛选模块，所述筛选模块连接有源代码数据库，所述控制器连接有服务器和源代码数据库，所述控制器连接有软件开发模块，所述软件开发模块包括基础框架设计模块、试运行测试模块、报错模块、代码执行模块和软件生成模块，所述软件开发模块连接有软件储存模块，所述软件储存模块与服务器连接，通过本发明的软件开发系统开发软件，操作较为简单，降低难度，便于普及。
一种软件开发系统及其方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条