[发明专利]一种数据写入方法、装置、设备及可读存储介质

摘要

本申请公开了一种数据写入方法、装置、设备及可读存储介质，该方法包括Flink接收配置文件，并从配置文件中读取任务信息；根据任务信息，获取任务对应的数据；从数据中读取分区字段，并根据分区字段，将数据写入文件系统中对应的时间分区；若数据为延迟发送的数据，则将数据写入文件系统的历史分区。通过配置文件得到任务信息，并根据任务信息获取对应的数据。从数据中可以读取并基于分区字段，便可将数据写入文件系统中对应的时间分区。解决了具体如何将数据匹配性写入文件系统中的各个分区。此外，对于延迟数据，将其写入到文件系统的历史分区，可以避免延迟数据过多，全写入正常分区中导致机器的文件句柄打开过多造成的集群问题。