[发明专利]一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法

摘要

本发明公开了一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，该方法的基本思想为：首先从服务器端获取直播网站某一直播领域的网页URL，根据该URL链接网页获取网页源代码，解析后获取主播的房间号和人气值以及服务器地址的列表，筛选出某个主播或人气高于一定值的多个主播，建立一个或多个爬虫线程分别爬取实时弹幕并保存在数据库中，之后对存储的数据进行数据分析并形成直观图。本发明能够实时爬取直播网站中某一位或多位高人气主播的弹幕信息，然后将爬取到的弹幕存入数据库中，并能够通过数据分析后生成的直观图，查看所爬取的主播和观众的互动度。此外，由于本发明采用定期发送心跳包的方式，因而能够实现对直播网站实时、持久的弹幕爬取。

主权项

1.一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，其特征在于，在PyCharm软件环境中实现；所述网络爬虫方法包括如下步骤：s1.获取直播网站某一直播领域的网页URL，根据该URL链接网页获取网页源代码，解析后获取主播的房间号和人气值以及登录服务器地址的列表；筛选出某个主播或其中人气高于一定值的多个主播；s2.通过requests爬取经步骤s1筛选出的对应主播的房间号以及登录服务器的地址；s3.与选中的登录服务器建立socket链接，模拟登录type@＝loginreq发送请求，并接受服务器返回的响应数据，从中解析出弹幕服务器地址和端口号以及群组组号groupID；s4.模拟登录弹幕服务器，建立一个或多个爬虫线程接受从弹幕服务器发来的弹幕数据；s5.将提取的弹幕和主播信息存入Sqlite3数据库中；s6.定期向服务器发送一次心跳包，若心跳包发送次数未达到设定值，执行步骤s2；s7.利用python xlsxwriter库将Sqlite3数据库中的数据提取出来并分析生成直观图。