[发明专利]一种基于关键字搜索的微博热门话题提取方法及系统

说明书

本发明公开了一种基于关键字搜索的微博热门话题提取方法及系统，属于云计算技术领域。本发明的基于关键字搜索的微博热门话题提取方法，利用网络爬虫结合微博的高级搜索功能，获取指定时间内用户发布的含有关键字的所有微博数据，利用Hadoop平台实现微博数据的处理与分析，提取出热门话题。该发明的基于关键字搜索的微博热门话题提取方法能够快速、精确的得到热门话题，从而有助于掌握热点事件，具有很好的推广应用价值。

技术领域

本发明涉及云计算技术领域，具体提供一种基于关键字搜索的微博热门话题提取方法及系统。

背景技术

随着社会的不断进步，社会经济、科技技术不断的发展，计算机的应用范围越来越广泛，导致互联网发展越来越迅速。随着互联网的发展，论坛、博客等社交网络平台不断涌现，社交网络平台的交互性和即时性产生了海量的数据信息。而如何获取这些数据信息并挖掘它们的潜在价值已经成为目前亟待解决的问题。在不断涌现的社交网路平台中，微博凭借其传播内容碎片化、传播主题草根化等特点迅速发展，其中用户群规模和社会影响力最大的当属新浪微博。相对来说新浪微博中的微博热门话题会带来更多的价值，更受关注，因此，获取新浪微博中的所有热门话题具有重要意义。但是现有技术中，还没有方便精确的获取微博热门话题的方法，有待进一步的开发。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够快速、精确的获得热门话题，从而有助于掌握热点事件的基于关键字搜索的微博热门话题提取方法。

本发明进一步的技术任务是提供一种基于关键字搜索的微博热门话题提取系统。

为实现上述目的，本发明提供了如下技术方案：

一种基于关键字搜索的微博热门话题提取方法，所述方法利用网络爬虫结合微博的高级搜索功能，获取指定时间内用户发布的含有关键字的所有微博数据，利用Hadoop平台实现微博数据的处理与分析，提取出热门话题。

本发明中利用了Hadoop的两大核心设计：HDFS和MapReduce。

作为优选，所述方法具体包括以下步骤：

S1：数据采集

利用网络爬虫模拟登录和多账户轮换的分布式数据采集策略；

S2：数据存储与迁移

采用关系型数据库和HDFS分布式文件系统相结合来存储数据，采用数据迁移工具实现数据在关系型数据库和HDFS分布式文件系统间的迁移；

S3：数据处理与分析

利用MapReduce计算模型对获取的微博数据进行处理与分析。

为了保护用户数据和个人隐私，新浪微博限制了用户的访问权限，用户只有通过登录且通过验证后才可以浏览全部信息。此外，新浪微博还对用户的IP地址和每小时访问次数做了严格限制，再加上数据量过于庞大，采用单机或者集中式数据采集策略都是不可取的，本发明中采用网络爬虫模拟登录和多账户轮换的分布式数据采集策略提高爬取效率。

由于关系型数据库主要面向结构化的数据，而且不能满足大规模数据分析的需求，所以本发明中主要利用HDFS分布式文件系统来存储网页内容。但关系型数据库具有便捷的数据查询分析能力、快速的事务处理能力以及多用户并发访问能力，因此可以将处理后的结构化数据存储到关系型数据库中，以便进行快速的查询和检索操作，而不同数据库间的迁移工作可以通过数据迁移工具完成。

作为优选，步骤S1中所述网络爬虫包括权限验证模块、网页抓取模块、页面解析模块、URL调度模块和持久化模块，权限验证模块负责验证每个网络爬虫的账户权限；网页抓取模块不断从URL调度模块中获取URL，与Web服务器进行交互采集网页内容，将网页内容发送到页面解析模块；页面解析模块从网页内容中提取新的URL并发送到URL调度模块，同时将整个网页内容发送到持久化模块。