[发明专利]一种多网页新闻评论内容自动精确提取装置

摘要

本发明属于多网页动态文字内容自动精确提取领域，特别涉及一种提取各大门户网站或者论坛动态生成的评论，为分析网络舆情提供资源库的自动精确提取出所需信息内容的装置。多网页新闻评论内容自动精确提取装置，包括动态内容URL收集装置、网页预处理装置、数据获取装置、数据自动化提取装置和输出装置。本发明的多网页新闻评论内容自动精确提取装置，该装置既可以通过静态网页模板有效地提取网页中的文字内容，同时还可以针对以动态URL形式提供的网页数据标识，从服务器端准确地获取相应的文字内容。本发明可解决网页中动态数据内容的准确获取和提取，提高了网页数据自动获取和提取的能力，为网络数据分析和挖掘提供更好地技术支撑。

主权项

一种多网页新闻评论内容自动精确提取装置，包括动态内容URL收集装置、网页预处理装置、数据获取装置、数据自动化提取装置和输出装置，其特征在于：观察需要提取评论的网页的HTML标签结构，设计提取静态网页内容的模板，动态内容URL收集装置从新闻评论网页URL队列中获取URL，根据URL的来源进行分类并存储；网页预处理装置将已经对应描述模板的网页直接交给数据获取装置，将还没有对应描述模板的网页，提取网页的完整标签、寻找包含有价值信息的标签，运用模拟工具提供的接口精确提取模板并保存，将新闻评论的第一页URL交给数据获取装置；数据获取装置实例化浏览器对象，设置浏览器对象等待网页中所有Javascript的时间阈值，设置Ajax的通信方式，使异步的Ajax通信同步化，使浏览器对象直接接收Ajax的响应，与服务器进行同步通信，使用设置完的浏览器对象对URL进行内容提取；数据自动提取装置根据URL的来源选择信息提取时使用的模板，根据模板进行信息的精确提取，将提取出来的信息传递给信息存储装置，判断当前页码是否为最后一页，若不是则进行翻页操作，继续提取信息；信息存储装置接收数据提取装置传送的信息，对信息进行分类存储。