[发明专利]数据写入方法及装置、电子设备、计算机存储介质

说明书

本发明公开了一种数据写入方法及装置、电子设备、计算机存储介质，其方法包括：接收数据写入请求；对数据写入请求进行解析，得到数据写入请求对应的目标数据库和目标数据表，将数据写入请求转化为文本信息写入在指定目录下存储的落地文件中；将落地文件中的文本信息导入到目标数据库的目标数据表中，以完成数据写入。本发明不受数据库本身单线程语法解析后知道执行计划才能存储的限制，大大提高数据库数据写入的速度，消释数据库写入时的瓶颈。

技术领域

本发明涉及数据库领域，具体涉及一种数据写入方法及装置、电子设备、计算机存储介质。

背景技术

MPP数据库（Massively Parallel Processor，大规模并行处理）支持50PB(1PB=1024TB)级海量数据的存储和处理，可以利用其强大的并行处理能力为业务提供如高并发查询等并发处理的支持。

但由于MPP数据库如Greenplum数据库，其在数据写入时，先由其主机Master对数据的写入请求进行解析，并制定相应的执行计划后，才将解析后的写入请求存储到对应的各个节点Segments中。由于Greenplum数据库的主机仅支持对写入请求进行单线程的语法解析，并且只有在语法解析后，才能分析其具体的存放位置，使得Greenplum数据库在数据写入时存在极大的瓶颈，无法为时效性要求高的业务场景提供服务。进一步，由于Greenplum数据库的语法解析过程会需要消耗极高的cpu占有率，使得其处理速度、效率都受到影响。因此，需要一种可以实现快速数据写入的方法。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据写入方法及装置、电子设备、计算机存储介质。

根据本发明的一个方面，提供了一种数据写入方法，其包括：

接收数据写入请求；

对数据写入请求进行解析，得到数据写入请求对应的目标数据库和目标数据表，将数据写入请求转化为文本信息写入在指定目录下存储的落地文件中；

将落地文件中的文本信息导入到目标数据库的目标数据表中，以完成数据写入。

根据本发明的另一方面，提供了一种数据写入装置，其包括：

接收模块，适于接收数据写入请求；

解析模块，适于对数据写入请求进行解析，得到数据写入请求对应的目标数据库和目标数据表，将数据写入请求转化为文本信息写入在指定目录下存储的落地文件中；

导入模块，适于将落地文件中的文本信息导入到目标数据库的目标数据表中，以完成数据写入。

根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据写入方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据写入方法对应的操作。

根据本发明提供的数据写入方法及装置、电子设备、计算机存储介质，在接收数据写入请求后，对数据写入请求进行解析，得到数据写入请求对应的目标数据库和目标数据表，将数据写入请求转化为文本信息写入在指定目录下存储的落地文件中。将落地文件中的文本信息导入到目标数据库的目标数据表中，以完成数据写入。不受数据库本身单线程语法解析后知道执行计划才能存储的限制，大大提高数据库数据写入的速度，消释数据库写入时的瓶颈。