[发明专利]海量流式数据的处理方法及装置

摘要

本发明公开了海量流式数据的处理方法及装置，包括：识别流式数据的类型，并将流式数据编码存储至与流式数据的类型相匹配的目标队列；读取目标队列中的待处理数据，并解码待处理数据得到待处理数据的属性数据集合，属性数据集合包括至少一个属性数据；对属性数据集合中的属性数据进行归一化处理得到抽象后的数据；调用预先确定出的数据处理任务处理抽象后的数据，得到处理后的数据。可见，实施本发明能够在获取到或监测到海量流式数据时，将海量流式数据分别编码压缩保存到相应的队列中，减少或避免流式数据猛增对数据处理系统造成的冲击，能够便于数据处理系统及时、准确的对流式数据进行处理，提高了对海量流式数据处理的实时性与准确性。