[发明专利]一种半导体制造系统数据预处理方法及装置

说明书

本发明公开了一种半导体制造系统数据预处理方法及装置，能够对半导体制造系统数据进行变换、清理和规约，提高了数据预处理的准确性和效率，能够可靠地去除异常的数据点，便于进一步的分析研究。本发明提供的半导体制造系统数据预处理方法，包括以下步骤：获取半导体制造系统的数据；对数据进行规范化处理；对数据的缺失值进行填补；基于数据聚类分析对所述补缺数据进行异常值探测，将异常值替换；基于变量聚类对数据进行冗余变量检测，将冗余变量替换。本发明通过对数据进行规范化处理、填补缺失值、异常值探测和替换以及冗余变量检测实现数据规范化，数据清理，数据规约等目标。

技术领域

本发明涉及一种半导体制造系统数据预处理方法及装置，属于数据处理技术领域。

背景技术

现实世界数据受各种因素的干扰，质量不高。低质量的数据会导致挖掘结果不理想，因此数据预处理通常被视为数据挖掘的重要环节。数据预处理的目的在于提高数据质量，一般包括数据集成、变换、清理及规约等任务。

半导体制造系统在数据采集过程中难免会发生传感器漂移、设备故障或操作工输入失误等现象，导致数据集包含噪声。此外，生产调度相关数据需要从MES、ERP、SCADA等系统中集成得到，这些系统中的数据从不同层次不同角度描述了企业生产过程，导致所集成数据的属性之间有较高冗余，这些都需要数据预处理，方能满足预测所需。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种半导体制造系统数据预处理方法及装置，能够对半导体制造系统数据进行变换、清理和规约，提高了数据预处理的准确性和效率，能够可靠地去除异常的数据点，便于进一步的分析研究。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种半导体制造系统数据预处理方法，包括以下步骤：

获取半导体制造系统的数据；

对数据进行规范化处理；

对数据的缺失值进行填补；

基于数据聚类分析对所述补缺数据进行异常值探测，将异常值替换；

基于变量聚类对数据进行冗余变量检测，将冗余变量替换。

进一步的，所述对数据的空缺值进行填补的方法具体包括基于GD-MPSO和WKNN的空缺值填补方法；

所述基于GD-MPSO和WKNN的填补方法包括以下步骤：

对S_miss中的每个数据记录x_im，根据下式从S_complete中找到K个最相邻的数据记录：

以下式求得该缺失值的估计量由此完成数据集中的缺失值填补：

进一步的，所述基于GD-MPSO和WKNN的填补方法的训练方法包括采用GD-MPSO优化每个特征j的权重fw_j提高基于KNN方法预测精度；

所述训练方法具体包括如下步骤以下步骤：