[发明专利]一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法

权利要求书

1.一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，在PyCharm软件环境中实现；所述网络爬虫方法包括如下步骤：

s1.获取直播网站某一直播领域的网页URL，根据该URL链接网页获取网页源代码，解析后获取主播的房间号和人气值以及登录服务器地址的列表；

筛选出某个主播或其中人气高于一定值的多个主播；

s2.通过requests爬取经步骤s1筛选出的对应主播的房间号以及登录服务器的地址；

s3.与选中的登录服务器建立socket链接，模拟登录type@＝loginreq发送请求，并接受服务器返回的响应数据，从中解析出弹幕服务器地址和端口号以及群组组号groupID；

s4.模拟登录弹幕服务器，建立一个或多个爬虫线程接受从弹幕服务器发来的弹幕数据；

s5.将提取的弹幕和主播信息存入Sqlite3数据库中；

s6.定期向服务器发送一次心跳包，若心跳包发送次数未达到设定值，执行步骤s2；

s7.利用python xlsxwriter库将Sqlite3数据库中的数据提取出来并分析生成直观图。

2.根据权利要求1所述的一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，所述步骤s1具体为：利用requests库中get方法将网页抓取下来；

利用python lxml库中etree的Xpath方法对抓取下来的网页的文本部分利用正则表达式匹配，筛选出需要的信息：主播房间号、直播状态、登录服务器的地址和端口号。

3.根据权利要求1所述的一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，所述步骤s3中，在用socket链接后模拟登陆弹幕服务器时要发送两次请求：

一次是socket模拟登录type@＝loginreq向弹幕服务器发出登录请求；

另一次是socket模拟登录type@＝loginreq向弹幕服务器发出加入group的请求。

4.根据权利要求1所述的一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，所述步骤s4中，对返回的弹幕数据采用split函数进行分割。

5.根据权利要求1所述的一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，所述步骤s5中，利用sql语句将弹幕和主播信息存入Sqlite3数据库中。

6.根据权利要求1所述的一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，所述步骤s6中，调用time库的sleep函数定期向服务器发送keeplive请求。

7.根据权利要求1或6所述的一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，所述步骤s6中，每隔20s向服务器发送一次心跳包。