[发明专利]一种航运数据快照生成方法

说明书

本发明涉及航运信息化领域，具体涉及一种航运数据快照生成方法，包括：第一步选择快照样本数据；第二步基于快照样本，按不同的快照时间粒度，生成数据快照并以存储表形式进行存储，包括：利用ETL工具，定时复制最新航段信息集合，关联切片时间后直接生成数据快照；基于AIS全量历史表以及航段信息全量历史表，按切片时间序列，循环抽取指定时间点附近的样本数据，间接生成对应的数据快照。本发明针对航运数据的特征，精选快照样本，解决了由于航运数据体量庞大，难以快速响应，以及在源数据发生变更的情况下，现有的快照生成方法或技术的数据快照响应单一，难以满足不断更新的航运数据进行复杂细粒度的响应的需求的问题。

技术领域

本发明涉及航运信息化技术领域，具体涉及一种航运数据快照生成方法。

背景技术

随着大数据、云计算等技术在各行各业的广泛应用和快速发展，航运领域的信息化也在逐渐发展壮大，尤其是航运信息数据的逐渐增多，对航运大数据的存储与分析利用显得尤为重要。其中，航运历史数据快照，主要用以回溯历史状态或分析历史趋势，是一项极为重要的技术。

存储网络行业协会对快照的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始时间点)的映像，快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。快照的作用主要是能够进行在线数据备份与恢复，当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据回滚到够格可用的时间点的状态，快照的另一个作用就是为存储用户提供另外一个数据访问通道，当元数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作，所有的存储系统，不论高中低端，只要应用于在线系统，那么快照就成为一个不可或缺的功能。

如何便捷的生成数据快照并加以有效利用，已成为数据、计算等服务领域一项重要的技术。目前，生成快照的方法有很多，其中以专利CN111552437A为代表，在数据快照的存储及数据运维层面，主要是针对分布式存储系统中解决了逻辑卷多机头的限制及共享数据服务低性能的技术问题。另一个部分是针对数据的快照技术，以专利CN102096613B为代表，同样聚焦在数据运维层面，将数据的管理及保护作为主要目的和功能。这类快照的生成预先的定义较为固定，一旦在错过快照生成，很难弥补，难以进行精确的历史数据的回溯。尤其是，对于航运数据来说，航运AIS历史数据有庞大的体量，AIS数据的特点是，密度不等且量级比较大，以单船平均10分钟上报一次，除去AIS故障时间，全年平均上报时长达300为例，一条船一年的AIS数据量达43200条。根据劳氏船级社的数据，全球在册船舶达300万条，去掉部分小渔船、短驳客船、小型特种作业船，按200万条商用船计算，全球商船一年产生的AIS数据超800亿条。业务系统进行历史分析时，直接通过检索全量AIS历史数据时，难以快速响应，用户体验差，故需要更大颗粒度的数据单独存储。

此外，航运平台或相关分析系统中应用的数据，还有一个重要的特点是，该类数据大多是中间计算结果，当计算逻辑发生变更时，数据需要重新计算，数据快照也需要基于最新的数据进行更新，现有的快照生成方法或技术的数据快照响应单一，难以满足不断更新的航运数据进行复杂的细粒度的响应的需求。

因此，在航运数据领域，亟需一种方法可以满足航运数据即时变化更新的需求的同时快速响应出更为复杂的细粒度的数据快照。

发明内容

本发明为了实现满足上述这种在航运信息技术领域中，由于航运数据体量庞大，难以快速响应，用户体验差，以及现有的快照生成方法或技术的数据快照响应单一，难以满足不断更新的航运数据进行复杂的细粒度的响应的需求，提供了一种航运数据快照生成方法。

本发明提供以下方案：

本发明提供了一种航运数据快照生成方法，其特征在于，包括以下过程：

第一步，选择快照样本数据，