[发明专利]一种基于关键字搜索的微博热门话题提取方法及系统在审
| 申请号： | 201810593368.1 | 申请日： | 2018-06-11 |
| 公开（公告）号： | CN108763583A | 公开（公告）日： | 2018-11-06 |
| 发明（设计）人： | 李萍 | 申请（专利权）人： | 山东汇贸电子口岸有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06Q50/00 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 高经 |
| 地址： | 250100 山东省济南市*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 微博 热门话题 关键字搜索 高级搜索 平台实现 热点事件 网络爬虫 用户发布 云计算 分析 | ||
1.一种基于关键字搜索的微博热门话题提取方法，其特征在于：所述方法利用网络爬虫结合微博的高级搜索功能，获取指定时间内用户发布的含有关键字的所有微博数据，利用Hadoop平台实现微博数据的处理与分析，提取出热门话题。
2.根据权利要求1所述的基于关键字搜索的微博热门话题提取方法，其特征在于：所述方法具体包括以下步骤：
S1：数据采集
利用网络爬虫模拟登录和多账户轮换的分布式数据采集策略；
S2：数据存储与迁移
采用关系型数据库和HDFS分布式文件系统相结合来存储数据，采用数据迁移工具实现数据在关系型数据库和HDFS分布式文件系统间的迁移；
S3：数据处理与分析
利用MapReduce计算模型对获取的微博数据进行处理与分析。
3.根据权利要求2所述的基于关键字搜索的微博热门话题提取方法，其特征在于：步骤S1中所述网络爬虫包括权限验证模块、网页抓取模块、页面解析模块、URL调度模块和持久化模块，权限验证模块负责验证每个网络爬虫的账户权限；网页抓取模块不断从URL调度模块中获取URL，与Web服务器进行交互采集网页内容，将网页内容发送到页面解析模块；页面解析模块从网页内容中提取新的URL并发送到URL调度模块，同时将整个网页内容发送到持久化模块。
4.根据权利要求3所述的基于关键字搜索的微博热门话题提取方法，其特征在于：所述持久化模块将网页内容进行压缩并写入HDFS。
5.根据权利要求4所述的基于关键字搜索的微博热门话题提取方法，其特征在于：步骤S2中所述数据迁移工具为Sqoop。
6.根据权利要求5所述的基于关键字搜索的微博热门话题提取方法，其特征在于：步骤S3中MapReduce计算模型将微博数据的处理过程抽象为Map函数和Reduce函数，Map函数将微博数据进行初步处理，Reduce函数将中间结果汇总得最终结果。
7.一种基于关键字搜索的微博热门话题提取系统，其特征在于：包括数据采集单元、数据存储与迁移单元和数据处理与分析单元，所述数据采集单元用于采集含有关键字的所有微博数据；数据存储与迁移单元用于将采集的微博数据进行存储并迁移；数据处理与分析单元用于将采集的微博数据进行处理与分析。
8.根据权利要求7所述的基于关键字搜索的微博热门话题提取系统，其特征在于：所述数据采集单元利用网络爬虫模拟登录和多账户轮换的分布式数据采集策略。
9.根据权利要求7或8所述的基于关键字搜索的微博热门话题提取系统，其特征在于：所述数据存储与迁移单元采用关系型数据库和HDFS分布式文件系统相结合来存储数据，采用数据迁移工具实现数据在关系型数据库和HDFS分布式文件系统间的迁移。
10.根据权利要求9所述的基于关键字搜索的微博热门话题提取系统，其特征在于：所述数据处理与分析单元利用MapReduce计算模型对微博数据进行处理与分析。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东汇贸电子口岸有限公司，未经山东汇贸电子口岸有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810593368.1/1.html，转载请声明来源钻瓜专利网。
