[发明专利]数据传输优化方法、设备及可读存储介质

说明书

本申请公开了一种数据传输优化方法、设备及可读存储介质，所述数据传输优化方法包括：当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息，基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。本申请解决了列式数据传输效率低的技术问题。

技术领域

本申请涉及金融科技(Fintech)的大数据技术领域，尤其涉及一种数据传输优化方法、设备及可读存储介质。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。

随着互联网科技的不断发展，越来越多的计算任务为分布式计算任务，而不再局限于单机进行，而在分布式计算任务中，数据的传输为其中必不可少的一环，目前，在进行跨机器数据传输通信时通常需要将数据转化为机器码进行传输，也即，需要对数据进行序列化和反序列化，进而导致了大量计算资源的浪费，进而导致数据传输的效率变低，而列式数据可支持丰富的数据结构，在进行一些计算任务时，可直接参与计算任务，但是，现有的列式数据无法支持高效的RDMA(Remote Direct Memory Access，远程直接数据存取)/DPDK(Data Plane Development Kit，数据平面开发套件)等传输技术，传输效率极低，所以，现有技术中存在列式数据传输效率低的技术问题。

发明内容

本申请的主要目的在于提供一种数据传输优化方法、设备及可读存储介质，旨在解决现有技术中列式数据传输效率低的技术问题。

为实现上述目的，本申请实施例提供一种数据传输优化方法，所述数据传输优化方法应用于数据发送端，所述数据传输优化方法包括：

当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据；

将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息；

基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。

可选地，所述协商信息包括单次传输数据量；

所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：

基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批；

查询各所述虚拟列式存储批对应的待传输内存块；

基于预设传输协议，将各所述待传输内存块传输至所述数据接收端。

可选地，所述协商信息包括单次传输数据量；

所述基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批的步骤包括：

基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批；

查询所述单个虚拟列式存储批对应的待传输内存块；

基于预设传输协议，将所述待传输内存块传输至所述数据接收端。

可选地，所述数据传输任务包括分布式同步计算任务对应的第一数据传输任务，

所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：