[发明专利]一种用于网内聚合传输的处理终端和交换机

说明书

本发明一种用于网内聚合传输的处理终端，所述处理终端具有计算机程序，所述计算机程序运行时，所述处理终端完成如下操作：封装分组并发送，其中所述分组包括控制信息和载荷，载荷包含了要发送的原始数据转换而成的键值对，所述控制信息包括有效性字段，所述有效性字段能够指示载荷字段中的键值对是否被聚合。本发明还提出一种用于网内聚合传输的交换机。本发明中的网内聚合传输分组采用键值对作为通用的数据传输格式，上层应用只需简单将要聚合的数据转换成键值对数据，可以实现网内聚合的通用性。

技术领域

本发明涉及计算机网络传输和分布式系统领域，具体地，涉及一种用于网内 聚合传输的处理终端和交换机。

背景技术

网内计算所提供的性能增益极大地吸引了相关的研究人员，而聚合操作广泛 存在于大量的分布式计算任务中，因而有人研究了利用网内计算来实现聚合原语 用于支持特定的分布式计算任务，提出了网内聚合(In-Network Aggregation,INA) 的解决方案。针对分布式机器学习训练，在目前的学术界给出了SwitchML和ATP 这两种基于网内聚合的解决方案，这两种解决方案均针对于分布式机器学习训练 设计了专门的聚合传输协议，并且对交换机和终端主机进行了协同设计。这两种 解决方案均采用了参数服务器的架构，SwitchML直接将交换机作为参数服务器， 而ATP中将交换机直连的一台服务器作为参数服务器。另一方面，SwitchML所 设计的聚合传输协议面向的是单机架、单租户，而ATP所设计的聚合传输协议面 向的是多机架、多租户。

现有的基于网内聚合的聚合传输协议的设计都与特定的应用相耦合，包括分 组的数据格式、接口和功能的放置。例如SwitchML和ATP均面向的是分布式机 器学习训练任务，这种特化的设计能够使得分组中的冗余信息非常少，能够带来 更高的性能，但伴随而来的问题是通用性不够好，不能够推广到其他同样存在聚 合操作的分布式应用上，如大数据计算、高性能计算等。

键值对数据的聚合逻辑相比于SwitchML和ATP所采用的值数据的聚合逻辑 更加复杂。在值数据聚合中，每个分组中的值要么全部聚合，要么全部不聚合， 而在键值对数据聚合中，操作是在子分组的粒度下进行的，首先分组需要分解出 包含的每一个键值对数据，然后在交换机中进行聚合，并重新组合成分组，这使 得协议的工作流、终端主机的可靠性处理、交换机上的状态管理变得更加复杂。

另一方面，通用网内聚合传输协议中的交换机上的聚合器并不能够确认在某 一键上的聚合全部完成。用于值数据聚合的bitmap数据结构并不能够在键值对数 据的聚合中发挥同样的指示作用。

发明内容

针对背景技术中的问题，本发明一种用于网内聚合传输的处理终端，所述处 理终端具有计算机程序，所述计算机程序运行时，所述处理终端完成如下操作： 封装分组并发送，其中所述分组包括控制信息和载荷，载荷包含了要发送的原始 数据转换而成的键值对，所述控制信息包括有效性字段，所述有效性字段能够指 示载荷字段中的键值对是否被聚合。

本发明提出一种用于网内聚合传输的交换机，所述交换机具有计算机处理程 序，所述计算机处理程序运行时，所述交换机完成如下操作：

收到分组后，将收到的分组中的键值对解析出来，其中所述分组包括控制信 息和载荷，载荷包含了要发送的原始数据转换而成的键值对，所述控制信息包括 有效性字段，所述有效性字段能够指示载荷字段中的键值对是否被聚合；

为每一个键值对确定一个聚合器，当聚合器可用时，将键值对写入到聚合器 中，该键值对占据该聚合器，并且在所述效性字段中记录该键值对已聚合。

本发明的有益效果包括：

本发明中的网内聚合传输分组采用键值对作为通用的数据传输格式，上层应 用只需简单将要聚合的数据转换成键值对数据，然后让服务器、处理终端和交换 机按本发明描述的流程进行工作，就可以实现网内聚合，提高了通用性。