[发明专利]基于Berkeley DB数据库的主题爬虫系统在审
| 申请号： | 201510342671.0 | 申请日： | 2015-08-05 |
| 公开（公告）号： | CN104978408A | 公开（公告）日： | 2015-10-14 |
| 发明（设计）人： | 杨月华;刘红雅 | 申请（专利权）人： | 许昌学院 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 461000 河南省*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明设计并实现了基于Berkeley DB数据库的主题爬虫系统，设计该系统的目标是为用户提供一个领域信息采集工具，并且只采集与特定主题相关的网页，从而能节省软硬件资源和较快地更新页面。设计思想是：首先对网页进行分析，根据主题相关性算法和爬取策略对网页进行过滤，只保留与主题相关的网页的链接并将其加入到待爬取URL队列，之后再根据网页爬取策略选择下一个要爬取的页面的URL，循环重复此过程，直到满足系统终止条件。在网页下载的过程中将其URL和概要信息插入到Berkeley数据库中，在创建数据库配置对象时对该数据库设置延迟写功能，当在内存中存储了指定大小的数据时再一次写入磁盘，提高了系统性能。在主题爬虫的参数设置界面用户可以选择爬取的主题词类以及种子网址和线程数，在运行界面会给出网址信息、已下载网页数、已分析URL数、待爬取网页数以及有效网页数。 | ||
| 搜索关键词： | 基于 berkeley db 数据库 主题 爬虫 系统 | ||
【主权项】：
基于Berkeley DB数据库的主题爬虫系统，其特征在于，该系统包含如下组成部分：主题网页爬取；主题相关度计算；封装Bean；Berkeley DB数据库；主题爬虫用户界面。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于许昌学院，未经许昌学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510342671.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种高速列车的车型开发方法和装置
- 下一篇：互联网络平台的用户行为分析方法
