[发明专利]一种基于爬虫技术的境外舆情监测装置、系统及方法

说明书

技术领域

本发明涉及舆情监测技术领域，具体涉及一种基于爬虫技术的境外舆情监测装置、系统及方法。

背景技术

随着信息全球化的来临，信息呈现全球化传播的趋势。当前，网络媒体日益发达，网民数量也不断增加，互联网已经成为民意表达的最主要空间。网络舆情监测与预警可以发掘其出现、发展和消亡的因素，通过连续不间断地动态监测、度量及采集相关的信息，从而对当前网络舆情做出评价分析并预测其发展趋势，及时做出等级预报。

反映民意的网络舆情，源于现实世界，又会正面或负面作用于现实世界，舆情传播过程中，与现实的关系可能发生复杂的变化。及时发现、分析、管理、利用网络舆情就变得非常重要。

目前，境外监测除了要实现数据实时抓取外，还需要避免采用翻墙软件等违规操作。现阶段采集海外舆情的方式主要有VPN模式，调用指定媒体数据接口方式，代理服务器方式，搭建海外服务器方式。其中，VPN方式目前国内属于非法操作；调用数据接口的方式受限于接口配置的各种访问控制，无法获得足够的信息，代理服务器存在安全方面的考虑也不实用。同时某些舆情在国内封锁的时候，无法继续追踪舆情发酵情况，无法为国内舆情正向引导提供数据支持。

发明内容

本发明的目的在于提供一种基于爬虫技术的境外舆情监测装置、系统及方法，通过搭建海外服务器的方式，合法绕过访问控制，采集境外网站舆情，分析在线言论及传播行为，为国内舆情正向引导提供数据支持。

为实现上述目的，本发明的技术方案为：一种基于爬虫技术的境外舆情监测装置，所述监测装置包括数据爬取模块、舆情搜索模块、文字获取模块、语音获取模块、图像获取模块、文字监测模块、语音监测模块、图像监测模块及预警模块；所述数据爬取模块用于获取进行舆情监测的网站数据信息；所述舆情搜索模块用于对用户输入的关键词进行舆情信息搜索；所述文字获取模块与所述舆情搜索模块建立连接关系，文字获取模块用于获取对应于用户输入关键词的文字舆情信息；所述语音获取模块与所述舆情搜索模块建立连接关系，语音获取模块用于获取对应于用户输入关键词的语音舆情信息；所述图像获取模块与所述舆情搜索模块建立连接关系，图像获取模块用于获取对应于用户输入关键词的图像舆情信息；所述文字监测模块与所述文字获取模块建立连接关系，文字监测模块用于对获取的文字舆情信息进行敏感信息监测；所述语音监测模块与所述语音获取模块建立连接关系，语音监测模块用于对获取的语音舆情信息进行敏感信息监测；所述图像监测模块与所述图像获取模块建立连接关系，图像监测模块用于对获取的图像舆情信息进行敏感信息监测；所述预警模块与所述文字监测模块、语音监测模块及图像监测模块建立连接关系，预警模块用于对获取的文字、语音或图像敏感信息进行预警。

如上所述的一种基于爬虫技术的境外舆情监测装置，所述监测装置还包括信息发送模块，所述信息发送模块与所述文字监测模块、语音监测模块或图像监测模块建立连接关系，信息发送模块用于传输文字监测模块、语音监测模块或图像监测模块监测到的敏感信息。

以设置在中国境内和境外的监测装置为例，设置在境外的监测装置利用信息发送模块将监测到的敏感信息发送到境内的服务器。文字监测模块通过文字监测算法进行实现，如通过关键字匹配算法进行敏感信息匹配。语音监测模块通过语音识别算法进行实现，语音识别算法如DTW算法，DTW算法是应用在孤立词识别的算法，用来识别一些特定的指令，DTW算法是基于DP(动态规划)的算法基础上发展而来的。语音识别的框架是，首先有一个比对的模版声音，然后去截取其里面包含真正属于语音的部分，采用vad语音活动检测的算法，而在vad中间使用双门限端点检测这种方法，采用vad判断语音的开始和结束，判断方法就是通过音量的大小做一个阈值判定，在时域上很简单就能判定。图像监测模块通过图像识别算法进行实现，图像识别算法根据图像的颜色特征、纹理特征、形状特征以及局部特征点进行识别，从而对含有敏感信息的图像进行监测。