[发明专利]流式数据分发方法和系统

摘要

本申请实施例提供了一种流式数据分发方法，所述方法包括：消费上游节点的待下发数据，所述待下发数据中封装有流标识和Protobuf序列化数据；解析所述待下发数据，以得到所述流标识和所述Protobuf序列化数据；根据所述流标识，确定目标Protobuf模型；基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据；及将所述Parquet数据下发到下游节点。在本申请实施例中，通过Protobuf模型对数据进行强约束，以防止数据错位以及其导致的数据转换异常等问题；通过Protobuf格式实现嵌套数据的传输，通过将支持嵌套的Protobu格式转换为支持嵌套的Parquet格式，从而有效的实现了嵌套格式的数据的传输、读取和存储。