[发明专利]一种基于Hadoop平台的DeepWeb查询接口聚类方法

摘要

本发明公开了一种基于Hadoop平台的Deep Web查询接口聚类方法，包括：通过本体对Deep Web查询接口进行语义扩展，并对Deep Web查询接口进行潜在语义分析；选取支撑分布式并行计算的聚类算法，将所选取的聚类算法进行并行化改造，分别设计map函数、combine函数和reduce函数。所述方法还包括：配置用于减少网络数据传输量的数据压缩函数；搭建分布式平台，在集群上运行。本发明通过构建集群，充分利用并行处理的优势，将待聚类的查询接口分发到多台机器上，每台机器进行初步聚类后汇总结果，再次分发待聚类数据到不同机器上，直到结果收敛。同时，能够保证聚类结果的正确性与可靠性。解决了单机情况下遇到的难题。

主权项

一种基于Hadoop平台的Deep Web查询接口聚类方法，包括：通过本体对Deep Web查询接口进行语义扩展，并对Deep Web查询接口进行 潜在语义分析；选取支撑分布式并行计算的聚类算法，将所选取的聚类算法进行并行化改 造，分别设计map函数、combine函数和reduce函数； 所述通过本体对Deep Web查询接口进 行语义扩展的具体步骤包括：（1）确定领域本体的范围，从Deep Web查询接口中获取核心属性，并挖掘 出属性之间的语义关系、每个领域的查询接口属性，选择出现频率高于10的属 性；（2）根据挖掘的属性关系，构建概念之间的部分与整体关系、继承关系、 概念与实例关系、概念与属性关系；（3）使用本体描述语言构建核心领域本体； （4）根据核心领域本体的属性，从结果页面中定位所需的目标数据区域； （5）提取结果页面的模式； （6）将结果页面中的概念和实例合并入领域核心本体；（7）如果某一查询接口中的属性出现在本体中，则将该属性的上下文路径上的所有属性添加到该查询接口的属性集中。