[发明专利]一种数据处理方法及装置

说明书

本申请提供了一种数据处理方法及装置。该方法包括：在预设周期内，在目标网络中执行测试任务过程中，获取所述目标网络中的访问数据；根据所述访问数据和采集到的所述目标网络的网络拓扑信息，确定所述目标网络的路径信息；根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。由此，实现了快速且准确地获取网络的网络模型数据，避免人工过多参与所造成的网络初始参数配置的复杂度及难度高的问题。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法及装置。

背景技术

在AI、分布式存储等需要大量数据传输领域中，低成本场景下存在使用RoCE(RDMAover Converged Ethernet，以太网承载RDMA)网络替代IB(InfinitBand，无限带宽)网络的需求，连接计算节点实现计算节点之间的数据传输和同步。以太网的网络和网卡的参数设置对网络传输效率影响非常大。而实际业务运行过程中，业务类型、网络拓扑、计算节点分布、计算节点间数据同步方向和路径千差万别，不会有一组网络参数能够满足所有业务和组网。虽然一般可以通过在计算任务执行过程中，对任务执行情况、占用资源、网络状态等进行实时监控，以根据监控结果对参数进行调整，但是如果初始参数与合理参数偏差较大，则会拉长参数调整的收敛过程，进而影响计算任务的执行效率，极端情况下还可能会造成调整无法达到收敛。因此如何选择网络的初始参数，对后续计算起着非常重要的作用。

而网络初始参数的选择，需要有计算任务的连接拓扑、网络模型、流量模型等一系列数据，这些数据一般通过计算任务部署和调度人员也就是网络使用者进行汇总并键入的，然后再告知网络运维人员，以进行网络参数的设置。这样就会存在以下问题：网络运维人员根据网络模型数据人工选择网络初始参数时，要求网络模型数据不能太复杂，而复杂的网络模型数据会增加人工选择网络初始参数的难度及复杂度，而且人工选择的网络初始参数是否合理的结果，也无法与后续实际计算任务过程形成反馈，进而无法优化后续初始参数的选择。

因此，如何获取网络模型数据，以降低网络初始参数配置的复杂度及难度是值得考虑的技术问题之一。

发明内容

有鉴于此，本申请提供一种数据处理方法及装置，用以快速且准确地获取网络模型数据，避免人工过多参与所造成的网络初始参数配置的复杂度及难度高的问题。

具体地，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种数据处理方法，包括：

在预设周期内，在目标网络中执行测试任务过程中，获得所述目标网络中的访问数据；

根据所述访问数据和采集到的所述目标网络的网络拓扑信息，确定所述目标网络的路径信息；

根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。

根据本申请的第二方面，提供一种数据处理装置，包括：

获得模块，用于在预设周期内，在目标网络中执行测试任务过程中，获得所述目标网络中的访问数据；

确定模块，用于根据所述访问数据和采集到的所述目标网络的网络拓扑信息，确定所述目标网络的路径信息；

配置模块，用于根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。

根据本申请的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的计算机程序，处理器被计算机程序促使执行本申请实施例第一方面所提供的方法。

根据本申请的第四方面，提供一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例第一方面所提供的方法。

本申请实施例的有益效果：