[发明专利]基于超链文本密度算法的一种页面类型识别方法

摘要

本发明涉及计算机应用技术领域，具体涉及基于超链文本密度算法的一种页面类型识别方法。本发明包括，第一步，获取网页数据体，所述网页数据体是html源文件；第二步，在html源文件中，寻找html tag标签“<a herf＝”，对所有包含改标签的部分，将由“<a”开始，直到“</a>”结束的部分提取并保存在字符串verify_html_string[i]中。本发明使用的html页面排版布局、CSS模板、字体、字号、颜色等各不相同，可以使用简单的使用模板匹配的方法进行小说目录页的识别。可以简单通过url来进行区分另外，从页面的文本内容来看，没有直接出现目录、列表等关键词，可以直接获取页面类型信息。

主权项

基于超链文本密度算法的一种页面类型识别方法，其特征在于，包括如下步骤：第一步，获取网页数据体，所述网页数据体是html源文件；第二步，在html源文件中，寻找html tag标签“<a herf＝”，对所有包含改标签的部分，将由“<a”开始，直到“</a>”结束的部分提取并保存在字符串verify_html_string[i]中；第三步，对于第二步中的每一段verify_html_string[i],i＝0,1,2,…,N；判断是否存在html tag标签“<img”，如果存在html tag标签“<img”，则将该string从verify_html_string数组中剔除，即去除图像类超链；第四步，对第三步中的verify_html_string[i],提取超链本文信息；第五步，依次判断文本anchor_text_string[i],取该文本的头文字anchor_head_text和anchor_tail_text；第六步，统计所有verify_html_tag＝＝true的anchor字符串的下表i,得到i的列表verify_subscribe[s]；第七步，统计verify_subscribe的数量，计算第八步，判断当verify_ratio>0.7或者num(verify_subscribe)>15时，当前页面为文学目录页。