[发明专利]全文检索引擎中的数据传输方法、装置及设备和存储介质

说明书

本申请公开了一种全文检索引擎中的数据传输方法、装置及一种电子设备和计算机可读存储介质，全文检索引擎包括管理节点、协调节点和数据节点，数据节点包括用于存储数据的主数据节点和用于存储数据副本的副数据节点；该方法包括：确定数据传输的源节点和目的节点，在源节点中确定待传输的目标数据；通过源节点的第一HCA卡将目标数据发送至目的节点中的第二HCA卡；第一HCA卡和第二HCA卡均为使用RDMA协议的HCA卡。本申请在源节点和目的节点中分别设置第一HCA卡和第二HCA卡，待传输的目标数据通过RDMA协议在第一HCA卡和第二HCA卡之间传输，提高了全文检索引擎中的数据传输效率。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种全文检索引擎中的数据传输方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

由于互联网、物联网应用的发展，如何检索海量数据，成为技术发展挑战，传统的关系型数据库，能够满足关系型数据的检索需要，但是当前非结构化数据的增长已经超出了结构化关系型数据，为解决海量数据、非结构化数据的全文检索需求，如何解决高效、快速全文检索引擎(简称检索引擎)技术成为当前的技术热点。

当前全文检索引擎(Elasticsearch，ES)集群数据节点之间基于主流TCP(传输控制协议，Transmission Control Protocol)协议，实现集群之间数据同步传输。主数据分片接收客户端传输来数据，先将数据写入到分片数据缓存区，在缓存中数据达到flush容量或时间到达flush时间片要求，缓存中数据flush到Translog(事务日志)文件中。ES进程将主数据分片完成Translog文件写入后，调用数据同步接口准备将数据同步到副本节点，具体过程如图1所示，主数据分片将分片缓存数据复制到操作系统内核态缓存中，由操作系统内核缓存复制到本地网卡缓存，由本地网卡缓存传输到副本节点网卡缓存，副本节点将收到的数据由网卡缓存复制到操作系统缓存区，ES在收到操作系统指令后将数据由内核缓存复制到ES用户态缓存，将数据写入到副本节点Translog文件中。

可见，数据在每个源节点内部需要实现最少三次复制：由ES缓存，复制到操作系统内核缓存，再复制到网卡缓存。在目标节点内也需要完成三次复制：由网卡缓存，复制到操作系统缓存，再复制到ES缓存。ES数据节点间数据传输使用TCP协议，TCP在建立链接需要进行三次握手，数据传输的效率。

因此，如何提高全文检索引擎中的数据传输效率是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种全文检索引擎中的数据传输方法、装置及一种电子设备和一种计算机可读存储介质，提高了全文检索引擎中的数据传输效率。

为实现上述目的，本申请提供了一种全文检索引擎中的数据传输方法，所述全文检索引擎包括管理节点、协调节点和数据节点，所述数据节点包括用于存储数据的主数据节点和用于存储数据副本的副数据节点；

所述方法包括：

确定数据传输的源节点和目的节点，并在所述源节点中确定待传输的目标数据；

通过所述源节点的第一HCA卡将所述目标数据发送至所述目的节点中的第二HCA卡；其中，所述第一HCA卡和所述第二HCA卡均为使用RDMA协议的HCA卡。

其中，所述确定数据传输的源节点和目的节点，并在所述源节点中确定待传输的目标数据，包括：

将所述主数据节点确定为源节点，将所述副数据节点确定为目的节点；

将所述主数据节点通过RDMA接口获取的数据确定为目标数据；其中，所述主数据节点通过RDMA接口获取所述目标数据后，存储所述目标数据。

其中，所述全文检索引擎包括多个管理节点，所述确定数据传输的源节点和目的节点，并在所述源节点中确定待传输的目标数据，包括：