[发明专利]一种数据挖掘方法

摘要

本发明提出了一种数据挖掘方法，解决了网络信息重复程度高，冗余信息多的问题，数据挖掘速率高，查全率好，效果较为理想，其分为，定点采集：预制行业内网站作为数据源，并对每一个数据源设置可信度权值；针对数据源设置数据采集模式定期或不定期向数据源挖掘数据；自动发现：设置网络探针，自动发现相似度高的网站作为采集点网站；将采集点网站添加到采集点网站库，并对每一个采集点网站设置可信度权值；针对采集点网站设置数据提取模式定期或不定期向数据源挖掘数据；数据分析和存储：对挖掘到的数据进行统一编码，去除重复信息，筛选数据；对筛选后的数据进行聚类分析，计算同一话题的信息量，并标注话题关注度权重；存储数据，并建立索引。

主权项

1.一种数据挖掘方法，其特征在于，通过定点采集和自动发现两种方式进行数据挖掘，并对挖掘到的数据进行统一的数据分析和存储；定点采集包括：预制行业内网站作为数据源，并对每一个数据源设置可信度权值；针对数据源设置数据采集模式定期或不定期向数据源挖掘数据；自动发现包括：设置网络探针，自动发现相似度高的网站作为采集点网站；将采集点网站添加到采集点网站库，并对每一个采集点网站设置可信度权值；针对采集点网站设置数据提取模式定期或不定期向数据源挖掘数据；数据分析和存储包括：对挖掘到的数据进行统一编码，去除重复信息，筛选数据；对筛选后的数据进行聚类分析，计算同一话题的信息量，并标注话题关注度权重；存储数据，并建立索引。