[发明专利]一种网页主题确定的方法

说明书

技术领域

本发明涉及一种网络技术，特别是一种网页主题确定的方法；

背景技术

随着互联网的普及，信息技术的发展，形成了大量的信息资源；网络资源的不断丰富和网络信息量的不断膨胀，人们对网络的依赖性越来越强，却也给服务对象从浩如烟海的互联网资源中快速找到自己所需的特定资源带来了不便；由于服务对象的信息需求日趋多元化和个性化，不同的服务对象之间存在着明显的个性差异，尽管各种搜索引擎发挥着极其重要的作用，但随着搜索引擎中数据的不断增长和变化，要从大量的数据中迅速的找到并获得自己所需要的信息和服务，变得越来越困难，服务对象在查询信息时往往会迷失他们的目标或者是得到一些比较偏颇的结果，因此很多服务对象在浏览搜索结果时，往往花费大量的时间和精力查看一些与自己搜索的服务无关的页面，这使得很多服务对象对搜索引擎丧失信心，从而导致服务对象的流失；

从海量的信息中抽取出有用的资源，是当前迫切需要解决的问题，而Web页面所表达的主要信息通常隐藏在大量无关的结构和文字中，使用户不能迅速获取主题信息，限制了Web的可用性，信息抽取有助于解决这一问题，信息抽取技术就是在这种背景下产生的；目前国内外研究较多的是从网上抽取一些具有格式的信息，如会议论文信息，商品信息，图书信息；这些研究的主要目的是要把网页中的无结构化数据或半结构化数据变成结构化数据；信息抽取的另外一个重要方向是提取出网页中的标题和正文等主题内容，利用网页的主题内容代替原始网页不仅能够缩短用户的浏览的时间，而且可以显著提高网页自动文摘和自动分类等应用的准确性；

而在信息抽取中，如何确定网页主题的方法一直是广大学者研究和探索的对象，也是信息抽取中的难题；所以如何更好、更准确、更有效地确定网页主题将是本方法解决的重点；

发明内容

本发明针对以上问题的提出，而研制一种利于信息采集技术，更好、更准确、更有效的网页主题确定的方法；

本发明的技术手段如下：

一种网页主题确定的方法，其特征在于包括如下步骤：

A、确定自定义主题；

A1、定制将被抽取的主题：列出网页内的所有主题和每一主题块内的链接，选择某一个或多个主题并归为已定义名称的主题；

A2、当进行主题信息抽取时，首先分析网页结构，再找出所有的主题块，然后根据用户定制的主题块位置，抽取该主题块的所有链接作为主题信息抽取的入口地址，最后根据已定义的主题名称将信息分类存储；

B、获取网页主题的链接：通过获取链接锚文本文档和该链接的上下文文档作为链接的描述文本；

B1、链接上下文的提取；

链接上下文提取算法基于网页的DOM树模型，对于不同类型的语义块中链接上下文的提取采用局部扩散算法；对于目录型语义块，根据非链接文字是对链接主题的说明将目录型语义块中所有的非链接文字作为每个链接的上下文，对主题型的链接上下文的提取，采用提取关键位置的内容作为链接上下文；

B2、局部扩散提取链接；基于网页布局划分DOM树，对不同类型的语义块采用其对应的上下文提取策略；

B21、主题型语义块中链接上下文提取；根据中文文本的语义是用符号隔开即其中逗号和句号之间的文本表示一个相对完整的语义，所以将链接锚文本前面一句和后面一句文本作为链接的上下文；

B22、目录型和图片型语义块中链接上下文提取；将链接锚标签所在的目录型语义块或图片型语义块中非链接文字作为该链接的上下文，同时将语义块的划分节点定义为聚合节点；

B23、网页链接提取；根据具有相同主题的链接放置在同一个布局标签内或者在其上下文的局部内，则在分析网页时按照布局标签将网页建立成一个布局标签树，当进行标签树建立时按照网页内的块进行划分，划分后的树是一棵由各个节点为块且具有标号的块组成，然后采用后序遍历标签树方式来发现主题块以及主题相关链接，选取链接数阈值为3即具有3个主题相关链接以上的块为主题块，其中选取步骤如下：

（1）输入主题型网页，建立布局标签树，初始化主题块队列，其中初始化用于存放主题块序号以及该主题下的链接；

（2）后序遍历下一个块，若为空则转到（5）；

（3）判断该主题块内的链接数，如果小于3，转到（2）；

（4）将主题块的位置序号以及主题下的相关链接插入；

（5）结束。