[发明专利]用于深层网页数据源集成的数据源发现方法

摘要

本发明公开了一种用于深层网页数据源集成的数据源发现方法，包括下列步骤：(1)构建站点根链接队列和本地链接队列；(2)从本地链接队列中取评分最高的页面链接，由爬行模块下载；(3)利用表单分类器对下载的页面进行处理，如其中含有表单查询接口，则将其加入深层网页数据源中；(4)利用页面分类器对下载的页面进行处理，如果主题评分小于设定阈值，则返回步骤(2)；(5)提取页面中的链接地址，经链接分类器判断后分别放入本地链接队列、站点根链接队列或抛弃；(6)重复步骤(2)至步骤(5)，实现深层网页数据源的自动爬行。本发明是一种非常高效的Deep Web数据源获取方法，它能够较大范围地提高人们的工作效率，为进一步实现深层网页数据源集成提供基础。

主权项

1.一种用于深层网页数据源集成的数据源发现方法，其特征在于，包括下列步骤：(1)提供待查询数据的主题，分别构建站点根链接队列和本地链接队列，在站点根链接队列中放入至少一个种子根链接地址，并根据其与主题的关系给定权重；(2)如果本地链接队列为空，则从站点根链接队列中取权重最大的一个根链接地址，放入本地链接队列中；从本地链接队列中取评分最高的页面链接，由爬行模块下载该页面；(3)利用表单分类器对步骤(2)下载的页面进行处理，如其中含有表单查询接口，则将其加入深层网页数据源中；(4)利用页面分类器对步骤(2)下载的页面进行处理，所述页面分类器采用最优者优先(best-first)策略进行主题判断，如果主题评分小于设定阈值，则返回步骤(2)；(5)提取页面中的链接地址，用链接分类器判断链接地址是否有可能指向含有表单接口的页面，并给该链接评分，所述链接分类器判断方法为，提取锚文本、链接上下文文本、链接地址、链接中的图片地址作为特征，进行信息分词并统计词频，得到该链接的特征向量X，采用朴素贝叶斯方法对链接信息进行分类；对于评分大于设定值的链接，如为本地链接，则放入本地链接队列，如为外部站点链接，则搜索站点根链接队列，存在对应的站点根链接时，根据该链接的评分调整站点根链接的权重，不存在对应的站点根链接时，则将该链接的站点根链接加入站点根链接队列，并根据评分设定根链接的权重；(6)重复步骤(2)至步骤(5)，实现深层网页数据源的自动爬行。