[发明专利]用于台风巨灾模型的海量文件快速校验方法

说明书

本发明涉及一种用于台风巨灾模型的海量文件快速校验方法，包括：将每个压缩文件的字典读入内存；判断压缩文件的字典是否为异常字典；将异常字典对应的压缩文件解压缩为原始文件并判断原始文件是否存在非数字类型的数据；记录存在非数字类型数据的原始文件的名称。本发明不但解决了文件拷贝出现错误时的校验问题，并且实现了在文件迁移过程中进行校验，支持在任何操作后快速对海量文件校验；包含文件内容合理性的校验，保证数据的准确性。

技术领域

本发明涉及通信技术领域和巨灾保险领域，尤其涉及一种海量文件快速校验方法。

背景技术

台风巨灾模型需要利用一万年的台风灾害数据进行模拟，一万年对中国大陆有影响的台风共有15万场，共计15万亿个结果数据(气压、纬度方向风速、经度方向风速、垂直方向风速)，高压后文件大小为10TB，解压缩后数据为110TB。在文件迁移的过程中出现传输中断、错误现象，通过恢复后，发现部分文件也出现错误。为了防止这些错误所带来的影响，一般在数据传输时采取数据校验。

数据校验是为保证数据的完整性进行的一种验证操作。目前主要通过在完成数据复制后分别将源存储设备和目的存储设备中的数据进行比较来实现的。例如将数据从A复制到B，往往需要把A和B查询出来做比较。这种校验方法由于在比较前需要先将数据分别读取出来，因此，在海量数据处理的应用场景下，会存在数据传输开销大、校验时延大等问题，不适应于进行海量数据的处理。

发明内容

为了解决在台风巨灾模型应用过程中对海量台风灾害数据快速校验的技术问题，本发明的技术方案一方面提出了一种海量文件快速校验方法，包括如下步骤：

将每个压缩文件的字典读入内存；

判断所述压缩文件的字典是否为异常字典；

将所述异常字典对应的压缩文件解压缩为原始文件并判断所述原始文件是否存在非数字类型的数据；

记录存在非数字类型的数据的所述原始文件的名称。

本发明还公开了一种用于台风巨灾模型的海量文件快速校验计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本发明的方法。

本发明还公开了一种用于台风巨灾模型的海量文件快速校验装置，包括至少一个处理器，以及存储器，其存储有指令，当通过至少一个处理器来执行该指令时，实施本发明的方法。

本发明的有益效果在于，不但解决了文件拷贝出现错误时的校验问题，并且实现了在文件迁移过程中进行校验，支持在任何操作后快速对海量文件校验；包含文件内容合理性的校验，保证数据的准确性。

附图说明

图1、校验文件流程图；

图2、问题结果的局部图；

图3、台风模型风压分布图。

具体实施方式

本发明的不同实施方式的技术特征可以在符合本发明主旨的情况下进行任意组合，因此，任何具体实施例不应被理解为对本发明保护范围的限制。

本发明的一些实施方式涉及了用于台风巨灾模型的海量文件快速校验方法，如图1所示，包括如下步骤：

将每个压缩文件的字典读入内存；

判断所述压缩文件的字典是否为异常字典；

将所述异常字典对应的压缩文件解压缩为原始文件并判断所述原始文件是否存在非数字类型的数据；

记录存在非数字类型的数据的所述原始文件的名称。

其中，台风巨灾模型的原始文件为数据表形式的数据，包括台风事件的ID；