[发明专利]一种应用于远程过程调用系统的零拷贝序列化方法在审
| 申请号: | 202111396667.4 | 申请日: | 2021-11-23 |
| 公开(公告)号: | CN114077507A | 公开(公告)日: | 2022-02-22 |
| 发明(设计)人: | 田臣;张天凡;周华平;王怿 | 申请(专利权)人: | 南京大学 |
| 主分类号: | G06F9/54 | 分类号: | G06F9/54;G06F9/50;G06F15/173 |
| 代理公司: | 南京钟山专利代理有限公司 32252 | 代理人: | 王路 |
| 地址: | 210023 江苏*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 应用于 远程 过程 调用 系统 拷贝 序列 方法 | ||
1.一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,包括如下步骤:
步骤1:客户端应用程序调用序列化库,对应用程序的数据进行序列化;
步骤2:序列化库将应用程序数据转换成字节流,随后内存分配注册器,即具有注册功能的内存分配器,根据内存分配策略申请内存,并根据内存批量注册策略将内存注册,再将转换后的字节流写入到分配的内存空间中,生成序列化后的消息;
步骤3:客户端应用程序使用基于RDMA的RPC系统通过网络传输序列化后的消息,将网络传输的序列化后的消息交由服务端的程序处理。
步骤4:服务端的程序完成客户端的请求后,将运行结果按照上述步骤反向发回给客户端程序。
2.根据权利要求1所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,步骤2的内存分配策略为:序列化库会先分配一块内存缓冲区,随后将序列化后的消息写入这块缓冲区中,序列化后的消息大小超过了此前分配的缓冲区大小,序列化库分配一块新的缓冲区,将后续的序列化数据写入新分配的缓冲区中,而原缓冲区的数据依旧保留在原缓冲区中不做更改,也不会释放原缓冲区,如果新分配的缓冲区的剩余空间也不够,那么就继续重复此过程直至序列化完成。
3.根据权利要求1所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,步骤2的内存批量注册策略为:内存分配注册器向操作系统申请一整块内存并将其放入自己的缓冲区池时,会对这一整块的内存进行批量的注册以均摊注册开销;同样地,当内存分配注册器向操作系统归还缓冲区池的内存时,会批量撤销内存的注册。
4.根据权利要求2所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,序列化的内存分配策略通过内存层次实现:内存层次从下往上依次是块、切片和消息缓冲区;块是内存分配注册器直接返回的结果,是一段固定长度的缓冲区;内存策略要求缓冲区的大小可变,当块的剩余空间不够时,则要对该缓冲区进行截断,如果块的剩余空间充足,则需要对缓冲区进行扩张;切片引用了底层块的部分或者全部数据,是一段长度可变的缓冲区;内存层次的最高层是消息缓冲区,它是序列化库的输出,消息缓冲区由多个切片在逻辑上拼接而成。
5.根据权利要求1所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,步骤3中,基于RDMA的RPC系统,根据底层采取的传输模式的不同,分成基于RDMA UD和基于RDMA RC两种RPC系统。
6.根据权利要求5所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,基于RDMA UD的RPC系统对待发送消息的每一个缓冲区依次进行切分,将大于MTU的缓冲区切分成多个小于等于MTU的网络包,接收端在收到这些网络包之后,按照顺序重组这些消息,将其恢复成一个完整的消息。
7.根据权利要求5所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,基于RDMA RC的RPC系统采用网卡的分散/汇聚技术中的汇聚技术来传输消息,将消息的多块缓冲区在网卡处拼接成一个完整的、连续的消息,然后再将其通过网络发送到接收端。
8.根据权利要求1所述的一种应用于远程过程调用系统的零拷贝序列化方法,其特征在于,步骤4具体为调用序列化库,对运行结果的数据进行序列化;序列化库将运行结果的数据转换成字节流,随后内存分配注册器根据内存分配策略申请内存,并根据内存批量注册策略将内存注册,再将转换后的字节流写入到分配的内存空间中,生成序列化后的消息;然后使用基于RDMA的RPC系统通过网络传输序列化后的消息,将网络传输的序列化后的消息发回给客户端程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111396667.4/1.html,转载请声明来源钻瓜专利网。





