[发明专利]一种基于RDMA机制的并行输入输出方法

说明书

技术领域

本发明涉及计算机技术领域，更具体地说，本发明涉及一种基于 RDMA(RemoteDirectMemoryAccess，指远程直接内存访问)机制 的并行输入输出方法。

背景技术

为了提高I/O(输入输出)性能，分布式处理系统基本都采用并 行文件系统，对分布在集群内各节点上的所有文件、设备和网络资源 进行全局访问，并且为用户呈现出单一系统映像。并行文件系统具有 分布式、高性能、高扩展等特点，非常适合数据共享需求和高性能计 算需求，但它也有一定的局限性，通常并行文件系统的稳定性随着规 模的增加而逐步下降，对小文件不太适合，高可扩展也有一定的局限 性，有可能成为系统或应用的瓶颈。

目前主流气象格式在新版中已经支持并行I/O功能，例如 NetCDF，通过非阻塞I/O，在并发读写的基础上，能够聚合多个客户 端请求，实现更好的I/O性能。但科学与工程计算类应用类型广泛， 很多都有自己专用的数据格式，或者采用无格式数据格式，因此很有 必要研发一个面向一般科学与工程计算类应用、支持一般数据格式的 并行I/O中间件，与应用课题相对独立，以减少用户研发的难度和复 杂度。

也就是说，虽然并行文件系统适合数据共享需求和高性能计算需 求，但它的稳定性通常会随着规模的增加而逐步下降，同时也不太适 合处理小文件的读写，在某些应用中可能会成为性能瓶颈。气象数据 格式虽然支持并行I/O功能，但其不具有通用性，无法应用到其它的 科学与工程计算类应用课题中。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提 供一种基于RDMA机制的并行输入输出方法，其面向一般的科学与 工程计算类应用课题，支持一般数据格式，主要用于解决大规模情况 下应用课题的I/O瓶颈问题。

为了实现上述技术目的，根据本发明，提供了一种基于RDMA 机制的并行输入输出方法，所述并行输入输出方法基于客户端-服务 器架构，所述并行输入输出方法包括：客户端通过套接字端口向服务 器发送输入输出操作信息；客户端通过InfiniBand端口向服务器传送 输入输出操作数据；服务器根据接收到的输入输出操作信息和输入输 出操作数据统一进行输入输出操作。

优选地，所述输入输出操作是写操作。

优选地，所述输入输出操作信息和所述输入输出操作数据不具有 固定数据格式。

优选地，所述输入输出操作信息和所述输入输出操作数据具有由 客户端定义的数据格式。

根据本发明，还提供了一种基于RDMA机制的并行输入输出方 法，所述并行输入输出方法基于客户端-服务器架构，而且所述客户 端-服务器架构包括多个客户端和一个服务器；其特征在于所述并行 输入输出方法包括：所述多个客户端中的两个或多个客户端同时进行 通过套接字端口向服务器发送输入输出操作信息并通过InfiniBand端 口向服务器传送输入输出操作数据的操作；服务器根据从各个客户端 接收到的输入输出操作信息和输入输出操作数据统一进行各个输入 输出操作。

优选地，所述输入输出操作是写操作。

优选地，所述输入输出操作信息和所述输入输出操作数据不具有 固定数据格式。

优选地，所述输入输出操作信息和所述输入输出操作数据具有由 客户端定义的数据格式。

本发明的优点在于：某些科学与工程计算类应用课题在大规模情 况下存在I/O瓶颈问题，如WRF，在高分辨率预报大规模运行时，I/O 时间与计算时间相当，I/O已严重影响到其性能；通过采用本发明， 可避免这种I/O瓶颈问题，同时本发明对数据格式没有特定要求，用 户可自定义自己需要的数据格式；对于某些专用的数据格式，如果采 用本发明的I/O技术，可将并行I/O功能扩展到该专用数据格式，潜 在应用场景广泛。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明 有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1示意性地示出了根据本发明优选实施例的基于RDMA机制 的并行输入输出方法的流程图。

图2示意性地示出了根据本发明优选实施例的基于RDMA机制 的并行输入输出方法的通信示意。

图3示意性地示出了根据本发明优选实施例的基于RDMA机制 的并行输入输出方法的系统示意图。