[发明专利]一种数据采集方法及系统

权利要求书

1.一种数据采集方法，其特征在于，预设有第一关联表和第二关联表，所述第一关联表为每个存储装置的身份信息对应的加权数，第二关联表为每个存储装置的身份信息对应的重要程度级别，所述方法包括：

接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；

根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集；

数据采集完成后，得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据，若存在异常数据，在所述原始数据上留下异常标记，并随所述原始数据一起发送，若不存在异常数据，发送原始数据；

建立主元模型，具体为：

获取所述存储装置的历史数据，从所述历史数据中挑选出正常数据，基于所述正常数据建立主元模型；

所述方法还包括：

在建立主元模型的过程中，若主元个数处于预设的合理区间内，继续建立主元模型；

若所述主元个数未处于预设的合理区间内，通过累计方差贡献率法、交叉验证估计法、赤池信息准则法和平均特征值法重新获取主元个数，直至主元个数处于预设的合理区间内；

所述方法还包括：

所述主元模型包括主元子空间和残差子空间，通过第一统计量表示原始数据在所述主元子空间上投影的变化情况，通过第二统计量表示原始数据在所述残差子空间上的投影的变化情况；

通过所述主元模型判断所述原始数据中是否存在异常数据，具体为：

通过所述第一统计量与预设的第一阈值比较，得到结果一，通过所述第二统计量与预设的第二阈值比较，得到结果二；

根据所述结果一和所述结果二判断所述原始数据中是否存在异常数据；

根据所述结果一和所述结果二判断所述原始数据中是否存在异常数据，具体为：

所述结果一包括第一统计量超出第一阈值和第一统计量未超过第一阈值，所述结果二包括第二统计量超出第二阈值和第二统计量未超过第二阈值；

若第一统计量超出第一阈值且第二统计量超出第二阈值，所述原始数据中存在异常数据；

若第一统计量未超过第一阈值且第二统计量超出第二阈值，所述原始数据中存在异常数据；

若第一统计量超出第一阈值且第二统计量未超过第二阈值，不确定原始数据中是否存在异常数据；

若第一统计量未超过第一阈值且第二统计量未超过第二阈值，所述原始数据中不存在异常数据。

2.如权利要求1所述的方法，其特征在于，根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，具体为：

预设有第三关联表，所述第三关联表为所述加权数和所述重要程度级别之积对应的数据采集时序；

根据所述加权数和所述重要程度级别得到所述加权数和所述重要程度级别之积；

根据所述加权数和所述重要程度级别之积与所述第三关联表确定每个所述存储装置的数据采集时序。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

若不确定原始数据中是否存在异常数据，则采用小波变换方法检测所述原始数据，判断是否存在异常数据。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

若同时需要采集数据的所述存储装置数量超过预设的数量，则分批次或分时间段对同时需要采集数据的所述存储装置进行数据采集。

5.一种数据采集系统，其特征在于，预设有第一关联表和第二关联表，所述第一关联表为每个存储装置的身份信息对应的加权数，第二关联表为每个存储装置的身份信息对应的重要程度级别，所述系统包括：

获取模块，用于接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；

确定模块，用于根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集，预设有第三关联表，所述第三关联表为所述加权数和所述重要程度级别之积对应的数据采集时序；根据所述加权数和所述重要程度级别得到所述加权数和所述重要程度级别之积；根据所述加权数和所述重要程度级别之积与所述第三关联表确定每个所述存储装置的数据采集时序；

判断模块，用于数据采集完成后，得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据，若存在异常数据，在所述原始数据上留下异常标记，并随所述原始数据一起发送，若不存在异常数据，发送原始数据；获取所述存储装置的历史数据，从所述历史数据中挑选出正常数据，基于所述正常数据建立主元模型；在建立主元模型的过程中，若主元个数处于预设的合理区间内，继续建立主元模型；若所述主元个数未处于预设的合理区间内，通过累计方差贡献率法、交叉验证估计法、赤池信息准则法和平均特征值法重新获取主元个数，直至主元个数处于预设的合理区间内；所述主元模型包括主元子空间和残差子空间，通过第一统计量表示原始数据在所述主元子空间上投影的变化情况，通过第二统计量表示原始数据在所述残差子空间上的投影的变化情况；通过所述主元模型判断所述原始数据中是否存在异常数据，具体用于：通过所述第一统计量与预设的第一阈值比较，得到结果一，通过所述第二统计量与预设的第二阈值比较，得到结果二；根据所述结果一和所述结果二判断所述原始数据中是否存在异常数据；根据所述结果一和所述结果二判断所述原始数据中是否存在异常数据，具体用于：所述结果一包括第一统计量超出第一阈值和第一统计量未超过第一阈值，所述结果二包括第二统计量超出第二阈值和第二统计量未超过第二阈值；若第一统计量超出第一阈值且第二统计量超出第二阈值，所述原始数据中存在异常数据；若第一统计量未超过第一阈值且第二统计量超出第二阈值，所述原始数据中存在异常数据；若第一统计量超出第一阈值且第二统计量未超过第二阈值，不确定原始数据中是否存在异常数据；若第一统计量未超过第一阈值且第二统计量未超过第二阈值，所述原始数据中不存在异常数据。