[发明专利]一种海量数据的清洗方法和系统

摘要

本发明公开一种海量数据的清洗方法和系统，涉及数据处理技术领域，以提高数据清洗的速度和效率。所述海量数据的清洗方法包括：根据预设数据块个数N，将映射归约并行计算框架内映射函数的个数设置为N，将归约函数的个数设为1；利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块，对每个数据块中的数据进行清洗，得到多个清洗的数据块；利用归约函数整合多个清洗的数据块，得到整合数据；对整合数据进行清洗，完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

主权项

1.一种海量数据的清洗方法，其特征在于，包括：步骤S1：根据预设数据块个数N，将映射归约并行计算框架内映射函数的个数设置为N，将归约函数的个数设为1；步骤S2：利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块，对每个数据块中的数据进行清洗，得到多个清洗的数据块；步骤S3：利用归约函数整合多个清洗的数据块，得到整合数据；对整合数据进行清洗，完成海量数据的清洗；其中，所述步骤S2中对每个数据块中的数据进行清洗，得到多个清洗的数据块的方法包括：步骤S21：识别数据块中数据的实体名称，获取数据块中数据的对象类型；步骤S22：根据数据块中数据的对象类型，对数据块中的数据进行清洗，得到清洗的数据块；其中，所述步骤S22中对数据块中的数据进行清洗，得到清洗的数据块的方法包括：步骤S221：将数据块中的数据进行预处理，使数据块中的数据格式统一；步骤S222：计算实体名称相同的数据的内容相似度；步骤S223：判断相似度值是否大于预设阈值，当相似度值大于预设阈值时，标记实体名称相同的数据为重复数据，并给相应数据打上重复数据标签，得到清洗的数据块。