[发明专利]一种多通道动态分布式学术资源采集方法在审
| 申请号： | 201910704887.5 | 申请日： | 2019-07-31 |
| 公开（公告）号： | CN110472122A | 公开（公告）日： | 2019-11-19 |
| 发明（设计）人： | 梁奎阳 | 申请（专利权）人： | 重庆古扬科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/906 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 400000 重庆市渝北*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种多通道动态分布式学术资源采集方法，涉及学术资源采集技术领域。该多通道动态分布式学术资源采集方法，包括测试系统、采集系统、预处理系统、分类整合系统、数据库系统、平台架构系统、用户查询系统、紧急处理系统与维护更新系统，所述测试系统为多通道抓取系统，系统抓取知名学术资源网站、典型的论坛网站与知名的中外文论坛网站上的部分网页作为实验对象，建立一个与模板无关的基于有效字符的内容抽取算法。通过测试实现得到模板无关的内容抽取算法，并将该模板无关的内容抽取算法应用到采集系统中，使得网页平台在采集信息时只需要在借助较少的人工辅助情况下就可以爬取新的网站，大大减少了系统扩展以及维护的成本。 | ||
| 搜索关键词： | 学术资源 网站 内容抽取 多通道 动态分布式 采集系统 测试系统 采集 算法 抓取 数据库系统 预处理系统 采集信息 更新系统 紧急处理 平台架构 人工辅助 实验对象 算法应用 网页平台 系统扩展 用户查询 有效字符 整合系统 抓取系统 中外文 论坛 网页 测试 维护 分类 | ||
【主权项】：
1.一种多通道动态分布式学术资源采集方法，其特征在于：该采集方法包括测试系统、采集系统、预处理系统、分类整合系统、数据库系统、平台架构系统、用户查询系统、紧急处理系统与维护更新系统。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆古扬科技有限公司，未经重庆古扬科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910704887.5/，转载请声明来源钻瓜专利网。
