[发明专利]一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法

说明书

本发明公开了一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，该方法的基本思想为：首先从服务器端获取直播网站某一直播领域的网页URL，根据该URL链接网页获取网页源代码，解析后获取主播的房间号和人气值以及服务器地址的列表，筛选出某个主播或人气高于一定值的多个主播，建立一个或多个爬虫线程分别爬取实时弹幕并保存在数据库中，之后对存储的数据进行数据分析并形成直观图。本发明能够实时爬取直播网站中某一位或多位高人气主播的弹幕信息，然后将爬取到的弹幕存入数据库中，并能够通过数据分析后生成的直观图，查看所爬取的主播和观众的互动度。此外，由于本发明采用定期发送心跳包的方式，因而能够实现对直播网站实时、持久的弹幕爬取。

技术领域

本发明涉及一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法。

背景技术

随着直播行业的崛起和发展，直播网站成为又一大信息交流和数据交互的平台。直播网站作为新型的c2c电商平台，区别于传统的电子商务最主要的特点就是主播与观众之间实时的交流互动。而弹幕作为这种互动最主要的载体，蕴含着大量信息。想要直观的了解直播过程中信息的交流，对于弹幕的收集存储与分析就具有重要意义。

网络爬虫是按照一定的规则，自动抓取万维网信息的程序或脚本。网络检索功能源于互联网内容爆炸性发展所带来的对内容检索的需求。随着搜索引擎的发展，网络信息搜索已成为人们日常上网的必要内容。为了使得搜索引擎满足人们的需求，“网络机器人”应运而生。最初他们只被用来统计互联网上的服务器数量，随着逐步的发展，这些机器人开始能够检索网站域名，获取分析网页信息。由于专门用于检索信息的机器人像蜘蛛一样在网络空间上爬来爬去获取信息，网络爬虫的概念由此而来。利用网络爬虫不仅可以为搜索引擎采集网络信息，还可以定向采集某些网站的特定信息，例如直播平台的弹幕信息。

发明内容

本发明的目的在于提出一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，以便实时爬取直播网站中某一位或多位高人气主播的弹幕信息，将爬取到的弹幕存入数据库中，并能够通过数据分析后生成的直观图，查看所爬取的主播和观众的互动度。

本发明为了实现上述目的，采用如下技术方案：

一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，在PyCharm软件环境中实现。所述网络爬虫方法包括如下步骤：

s1.获取直播网站某一直播领域的网页URL，根据该URL链接网页获取网页源代码，解析后获取主播的房间号和人气值以及登录服务器地址的列表；

筛选出某个主播或其中人气高于一定值的多个主播；

s2.通过requests爬取经步骤s1筛选出的对应主播的房间号以及登录服务器的地址；

s3.与选中的登录服务器建立socket链接，模拟登录type@＝loginreq发送请求，并接受服务器返回的响应数据，从中解析出弹幕服务器地址和端口号以及群组组号groupID；

s4.模拟登录弹幕服务器，建立一个或多个爬虫线程接受从弹幕服务器发来的弹幕数据；

s5.将提取的弹幕和主播信息存入Sqlite3数据库中；

s6.定期向服务器发送一次心跳包，若心跳包发送次数未达到设定值，执行步骤s2；

s7.利用python xlsxwriter库将Sqlite3数据库中的数据提取出来并分析生成直观图。

优选地，所述步骤s1具体为：利用requests库中get方法将网页抓取下来；

利用python lxml库中etree的Xpath方法对抓取下来的网页的文本部分利用正则表达式匹配，筛选出需要的信息：主播房间号、直播状态、登录服务器的地址和端口号。