[发明专利]一种基于Flink实现数据格式校验的方法

权利要求书

1.一种基于Flink实现数据格式校验的方法，其特征在于，

设定缓存为Flink job的数据源和目的地，自定义Flink对缓存的连接器，其目的是对缓存中的单条json数据进行处理和校验，并将结果发送至缓存；

以缓存作为flink的数据源和数据目的地，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL；

根据被校验的json数据获取可暂存该数据格式的数据表结构schema；

设定缓存做为Flink的外部数据源，将被校验的json数据暂存至缓存，并设置key为sourceData；

自定义Flink对缓存的连接器,通过该连接器可直接获取缓存中sourceData对应的数据，并在获取数据后，可直接断开连接；

创建流的执行环境，根据流的执行环境创建表环境，用于注册创建数据源和数据目的地；

在表环境中根据自定义的缓存连接器以及获取的schema注册一个临时数据表，将缓存中的json数据反序列化处理后暂存至该临时表中。

2.根据权利要求1所述的方法，其特征在于，

对该数据表中的数据执行SQL语句，判定数据表中的数据是否满足SQL,如果执行错误，则判定数据不满足SQL，即被校验数据跟SQL不匹配；反之，则判定被校验数据与SQL匹配，并将最后的筛选结果存至缓存，以便后期获取查看。