[发明专利]一种数据传输方法和装置

说明书

技术领域

本发明实施例涉及数据库领域，尤其涉及一种数据传输方法和装置。

背景技术

分布式数据库结构中分布的节点通常包括协调节点(Coordinator Node，简称CN)和数据节点(Data Node，简称DN)。CN和DN或者多个DN之间通常需要传输数据。

举个例子，用户通过上层应用向CN发送查询请求，CN将查询请求发送给对应的DN节点，以使DN节点执行该查询请求，并将查询结果返回给CN，以使CN传输给上层应用，进而展现给用户。

上述过程中，数据在各个节点，DN与CN，或者DN与DN之间进行传输时，节点间所传输的数据是未经过压缩的数据，因此各个节点之间的数据传输的开销较大，给网络带来了较大的负荷量。

综上，亟需一种数据传输方法和装置，用于降低分布式数据库中各个节点间数据传输的开销，减轻网络负荷。

发明内容

本发明实施例提供一种数据传输方法和装置，用于降低分布式数据库中各个节点间数据传输的开销，减轻网络负荷。

本发明实施例提供一种数据传输方法，包括以下步骤：

数据节点DN确定一个具有分布规律的待传输列，以及待传输列中参数的分布规律；

DN根据待传输列的参数的数据类型，以及待传输列中参数的分布规律， 确定待传输列对应的压缩算法；本发明实施例中的压缩算法有多种，比如，无损压缩(Run-Length Encoding，简称RLE)算法、字典算法、LZ4算法、Zlib算法；待传输列的参数的数据类型可为多种，比如整型(Integer)、长整型(Long)、单精度浮点型(Single)、双精度浮点型(Double)和货币型(Currency)等等；

DN使用压缩算法对所待传输列进行压缩，DN向目标节点发送压缩后的待传输列。可选地，目标节点为DN或CN。如此，DN与DN之间传输数据，或者DN与CN之间传输数据时均可传输压缩后的待传输数据，降低了各个节点间数据传输的开销，减轻了网络负荷。

本发明实施例中，由于DN根据待传输列的参数的数据类型，以及待传输列中参数的分布规律确定待传输列对应的压缩算法所对应的压缩算法，从而可尽可能的使用能达到较大压缩比的压缩算法来对待传输列进行压缩，提高了压缩算法确定的灵活性。进一步由于DN使用确定出的压缩算法对待传输列进行压缩，之后向目标节点发送压缩后的待传输列，因而传输压缩后的待传输数据，降低了各个节点间数据传输的开销，减轻了网络负荷。

可选地，DN根据查询命令中的关键词，确定一个具有分布规律的待传输列，以及待传输列中参数的分布规律。

可选地，DN向目标节点发送指示信息；其中，指示信息用于指示待传输列对应的压缩算法，指示信息被目标节点用于对待传输数据进行解压以得到待传输数据。由于DN向目标节点发送指示信息，因此提高了目标节点对接收到的待传输数据进行解压的成功率。

可选地，待传输数据为数据表形式。如此，则可将数据按列传输出去，进而可对按列传输的数据使用本发明实施例提供的方法对每一列具有分布规律的待传输列进行压缩，提高了数据压缩的灵活性。

可选地，DN在确定出具有分布规律的待传输列中包括的每个参数的值的长度不小于阈值时，DN根据待传输列的参数的数据类型，以及待传输列中参数的分布规律，确定待传输列对应的压缩算法。如此，由于该列中的参数的值 已经很短，无需再次压缩，因此可不对该具有分布规律的待传输列进行压缩，进而减少了处理流程，简化了数据传输过程。

可选地，具有分布规律的待传输列包括N个参数，N个参数中的至少两个参数的值相等，N为大于1的整数。也就是说，该待传输列的分布规律为该列包括的N个参数中的至少两个参数的值相等，如此，则可对该值相等的参数进行压缩，从而减少节点之间数据传输量，从而降低网络负荷。

可选地，DN确定一个具有分布规律的待传输列，以及待传输列中参数的分布规律，包括：

DN根据接收到的查询命令，查询出与查询命令中关键词匹配的待传输数据；其中，查询命令中包括一个关键词；

DN确定出关键词在待传输数据中对应的列，并将该关键词对应的列作为具有分布规律的待传输列；

DN根据待传输列的参数的数据类型，以及待传输列中参数的分布规律，确定待传输列对应的压缩算法，具体包括：

DN在确定待传输列参数的数据类型为支持RLE压缩算法的数据类型，且在确定待传输列的分布规律为待传输列的参数的值为关键词时，DN确定待传输列对应的压缩算法为RLE压缩算法。