[发明专利]一种考虑数据可信度的数据挖掘方法

权利要求书

1.一种考虑数据可信度的数据挖掘方法，包括以下步骤：

步骤S10、确认等待数据挖掘的数据集在经验知识型数据方面的特性；

步骤S20、采用基于互联网知名度的评估法来评估每条经验知识型数据的可信度；

步骤S30、在数据挖掘的关联规则方法中引入数据可信度作为权重。

2.如权利要求1所述的方法，其特征在于：步骤S10具体包括：读取数据集的元数据信息，尤其是每一个数据字段的说明，看该字段数据是否能从客观世界和交易行为中直接记录和观测到，还是需要经过人类的分析判断和总结，从而初步判断其是否属于经验知识型数据；取数据集的部分数据作为样本，结合元数据信息，进一步确定数据集中是否包含经验知识型数据；再次扫描元数据信息，对于相应的经验知识型数据，检查是否有相关的字段对其来源信息进行描述。

3.如权利要求2所述的方法，其特征在于：步骤S20具体包括：对于确认为经验知识型数据的数据集，取其相应的经验知识型数据内容，利用互联网获得相应的互联网知名度值，对于经验知识型数据的来源信息也存在的情况，同时取其数据内容、数据来源，利用互联网获得相应的互联网知名度值；将互联网知名度值标准化后，作为对数据可靠度的估计值。

4.如权利要求3所述的方法，其特征在于：步骤20的利用互联网获得相应的互联网知名度值中，采用搜索引擎搜索、领域权威网站搜索、社交媒体搜索、网友评分中的一种或多种方法对经验知识型数据内容、经验知识型数据来源的互联网知名度进行计算，具体方法可包括如下一种或几种的混合：

基于“搜索引擎－内容”的方法，即计算数据内容在百度、Google等搜索引擎中得到的搜索结果数，

基于“搜索引擎－来源”的方法：即计算数据来源在百度、Google等搜索引擎中得到的搜索结果数，

基于“领域权威网站－内容”的方法，即计算数据内容在领域权威网站中搜索后得到的评分值、评级值或搜索结果数，

基于“领域权威网站－来源”的方法，即计算数据来源在领域权威网站中搜索后得到的评分值、评级值或搜索结果数，

基于“社交媒体－内容”的方法，即计算数据内容在新浪微博等社交媒体中搜索后得到的微博数、评论数或转发数，

基于“社交媒体－来源”的方法，即计算数据来源在新浪微博等社交媒体中搜索后得到的微博数、评论数或转发数，

基于“网友评分－内容”的方法，即计算数据内容通过互联网平台的网友评分后得到的评分值或评级值。

5.如权利要求4所述的方法，其特征在于：步骤S30具体包括：对于多个经验知识型信息共现在一个记录甚至一个数据字段内的情况，可用数据挖掘的关联规则方法结合数据可信度进行分析，在计算支持度时改为计算各Itemset加权后得到的支持度；在计算加权的支持度时，以S20步骤得到的经验知识型数据的可信度，作为其权值。

6.如权利要求5所述的方法，其特征在于：步骤S30的在计算支持度时改为计算各Itemset加权后得到的支持度中，频繁集itemset的支持度计算步骤可以是：设N＝所有的记录条数，sumofweight＝0，扫描数据集中的每一条记录j，看其是否包含itemset，若包含，则sumofweight=sumofweight+weight[j]，待j从1到N遍历所有的记录后，计算最终的支持度：

support=sumofweight/Σi=0Nweight[i]]]>