[发明专利]一种原始数据处理方法

说明书

本发明涉及一种原始数据处理方法，该方法应用于原始数据处理系统中，该系统包括多个原始数据源，多个数据收集单元，集群存储器，原始数据处理平台，数据管理器，客户端；该原始数据处理方法能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。

【技术领域】

本发明属于数据处理领域，尤其涉及一种原始数据处理方法。

【背景技术】

自互联网出现以来，互联网上的互联网页面的数量就飞速增长着，也恰是由于其这种增长速度，形成了世界上最大的信息资源库。互联网信息整合技术就是对这一个信息资源库进行有效处理，整合相关信息，为数据挖掘提供数据方面的支撑，以便更好地应用于专业领域中的信息服务。在当前飞速发展的网络时代，信息资源日益丰富，互联网信息整合已成为信息时代的重要内容，在多个领域中都有互联网信息整合的应用。但是在存储过程中，未对数据进行去重处理，从而导致数据冗余。并且，随着数据量增加，数据冗余加剧，造成存储空间浪费。因此，急需一种数据处理方法，在数据存储的同时实现数据去重处理，避免数据冗余和存储空间的浪费。

现有技术中的原始数据处理方法都比较简单，在数据去重复时仅仅是对完全相同的两条记录进行去重复处理，而对于实质上相同的两条数据无法进行辨识，从而无法有效的进行自动化的去重复；基于上述诸多问题，现在亟需一种新的原始数据处理方法，能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种原始数据处理方法,其特征在于，该方法包括如下步骤：

步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；

步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；

步骤3：原始数据处理平台对数据集合进行缺失补全；

步骤4：原始数据处理平台找出相似重复的数据以便去重。

进一步的，原始数据处理平台计算两条数据记录之间的相似度，如果相似度小于第一相似度阈值，则认为该两条数据记录是重复数据；。

进一步的，根据该两条数据记录的置信度选择一条数据记录进行删除。

进一步的，原始数据处理平台还包括登录模块，客户端用户可以通过该登陆模块对该原始数据处理平台进行远程登录。

进一步的，登录模块包括一图形用户界面，用户通过该图形用户界面进行登录。

进一步的，客户端通过用户帐号和密码进行登录。

进一步的，登录模块中关联保存所有用户帐号及其对应的密码和权限。

进一步的，不同的用户可以通过不同的客户端登录，登陆后的用户可以访问权限范围内的数据。

进一步的，不同的用户具有不同的权限。

本发明的有益效果包括：能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：