[发明专利]一种考虑数据可信度的数据挖掘方法

说明书

技术领域

本发明涉及一种数据挖掘方法，尤其涉及一种考虑数据可信度的数据挖掘方法。

背景技术

20世纪末以来，在“数据丰富，信息贫乏”的海量数据困境驱动下，在数据库、机器学习、统计学等学科的交叉影响下，知识发现和数据挖掘技术开始兴起，并获得了持续和高速的发展。目前，知识发现和数据挖掘已经成为子领域众多、内涵非常丰富的学科领域。传统的数据挖掘往往基于数据库中的交易型数据，知道其来自何处，产生于何时，且知道数据内容是真实记录而来，因此数据是可信的。然而，对于某些复杂领域的数据挖掘来说，常常涉及经验知识型数据，如中医药领域数据挖掘所涉及的各类方剂数据集。这些数据集所记载的内容并不是真实的交易数据，而是某种知识、经验或结论。由于这样的知识、经验或结论可能来源于各种渠道，因此其可信程度可能并不相同。当数据集对这些数据进行融合之后，要在这样的数据集上进行知识发现，就需要对各类数据的可信度进行考虑。

因此，如何对经验知识型数据的可信度进行有效评估，并将这种数据可信度融合到数据挖掘过程中去，已成为影响复杂领域知识发现可靠性的关键问题。而考虑数据可信度的数据挖掘方法，正是解决这一问题的有效途径。

发明内容

为了克服现有的数据挖掘方法未考虑经验知识型数据可信度的不足，本发明旨在提供一种考虑数据可信度的数据挖掘方法，能对经验知识型数据的可信度进行评估，并将这种数据可信度融合到数据挖掘过程中，以提高数据挖掘可靠性。

在本发明的实施例中，提供了一种考虑数据可信度的数据挖掘方法，包括以下步骤：

1、确认等待数据挖掘的数据集在经验知识型数据方面的特性

2、采用基于互联网知名度的评估法来评估每条经验知识型数据的可信度

3、在数据挖掘的关联规则方法中引入数据可信度作为权重

本发明的优点是克服了现有技术中数据挖掘方法都不考虑知识经验型数据可信度的问题，进而实现了如下技术效果：

（1）对数据挖掘数据集中的经验知识型数据的针对性利用。

考虑到经验知识型数据不同于传统交易型数据的独特性，对数据挖掘数据集中的经验知识型数据进行分析，使得复杂领域的数据挖掘能更好地把握住经验知识型数据的内在特点。

（2）对经验知识型数据的数据可信度的有效评估。

利用基于互联网的知名度评估方法，涉及搜索引擎检索次数、页面访问流量等指标，可以实现对经验知识型数据的数据可信度的综合评估。

（3）对经验知识型数据集的更可靠挖掘。

通过将数据可信度融入关联规则的数据挖掘方法，使得经验知识型数据上的数据挖掘能充分考虑到数据可信度的因素，从而使得数据挖掘的过程和结果更为可靠。

附图说明

图1是本发明一个实施例的考虑数据可信度的数据挖掘方法流程图。此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

具体实施方式

下面结合附图并结合实施例，对本发明做进一步说明。

图1是本发明一个实施例的考虑数据可信度的数据挖掘方法流程图，包括以下步骤：

步骤S10、确认等待数据挖掘的数据集在经验知识型数据方面的特性；

步骤S20、采用基于互联网知名度的评估法来评估每条经验知识型数据的可信度；

步骤S30、在数据挖掘的关联规则方法中引入数据可信度作为权重。

可选的，在上述的考虑数据可信度的数据挖掘方法中，步骤S10具体包括：读取数据集的元数据信息，尤其是每一个数据字段的说明，看该字段数据是否能从客观世界和交易行为中直接记录和观测到，还是需要经过人类的分析判断和总结，从而初步判断其是否属于经验知识型数据；取数据集的部分数据作为样本，结合元数据信息，进一步确定数据集中是否包含经验知识型数据；再次扫描元数据信息，对于相应的经验知识型数据，检查是否有相关的字段对其来源信息进行描述。