[发明专利]一种支持多进程的高性能单向传输的方法和装置

说明书

本发明涉及传输技术领域，提供了一种支持多进程的高性能单向传输的方法和装置。方法包括接收一个或者多个客户端的发送数据请求，为所述客户端分配前台缓冲区进行发送数据的临时存储；扫描各个前台发送缓冲区以确定是否满足发送要求；当前台缓冲区满足发送标准时，对缓冲区进行加锁；所述加锁操作后的前台缓冲区转换为后台缓冲区后，完成所述发送操作。本发明适用于大多数依赖高速以太网络进行单向数据传输的系统，并且对进行海量琐碎数据传输的场景尤其适用。

【技术领域】

本发明涉及传输技术领域，特别是涉及一种支持多进程的高性能单向传输的方法和装置。

【背景技术】

电信运营商相关OSS系统中为了能通过某些专家子系统导出和查看单用户在其网络中的控制面和业务面的原始数据，要求建设的诸如DPI系统支持根据用户号码存储和查询用户信令原始数据，此系统的原始数据由采集设备通过网络发送而来。

目前以省为单位建设的DPI系统承载的用户数大都在1000万以上，实时产生的原始信令包速据高达6000000pps，平均包长仅有136字节。此海量数据中大约有1000000pps的数据需要发往后端系统进行存储。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题IPC机制(如Socket、消息队列等)造成的二次消耗。在其他IPC机制中发送客户端需要将数据通过数据通道发至核心服务的缓冲区管理模块，再由缓冲区管理模块待为存入缓冲区，整个过程中涉及到两次(或以上)数据拷贝，影响处理性能。

本发明采用如下技术方案：

第一方面，本发明提供了一种支持多进程的高性能单向传输的方法，建立共享内容空间，所述共享内存空间被划分为至少两个前台缓冲区和至少一个后台缓冲区，其中，所述前台缓冲区设置为客户端可访问，所述后台缓冲区设置为客户端不可访问，方法包括：

接收一个或者多个客户端的发送数据请求，为所述客户端分配前台缓冲区进行发送数据的临时存储；

扫描各个前台发送缓冲区以确定是否满足发送要求；当前台缓冲区满足发送标准时，对缓冲区进行加锁；

前台缓冲区在进行加锁操作后，与处于空闲状态的后台缓冲区进行标识替换，使得所述加锁操作后的前台缓冲区转换为后台缓冲区，被替换标识后的所述处于空闲状态的后台缓冲区成为客户端可访问的前台缓冲区；

所述加锁操作后的前台缓冲区转换为后台缓冲区后，完成所述发送操作。

优选的，前台缓冲区被分配给客户端后，在所述前台缓冲区进入加锁操作的同时，客户端进入加锁等待状态，则前台缓冲区在进行加锁操作后，与处于空闲状态的后台缓冲区进行标识替换后，所述方法还包括：

所述客户端从加锁等待状态切换为自由状态；其中，所述自由状态为所述客户端允许发送新一轮的发送数据请求。

优选的，前台缓冲区满足发送标准，具体包括：

前台缓冲区中存储的数据包占整个缓冲区的空间达到第一预设阈值，和/或客户端传输过来的数据包时间间隔超过第二预设阈值。

优选的，在所述前台缓冲区满足发送标准为满足前台缓冲区中存储的数据包占整个缓冲区的空间达到第一预设阈值和客户端传输过来的数据包时间间隔超过第二预设阈值中的任意一项时，所述第一预设阈值和第二预设阈值的组合包括：

第一预设阈值为90％时，所述第二预设阈值为0ms；

第一预设阈值为75％时，所述第二预设阈值为500ms；

第一预设阈值为50％时，所述第二预设阈值为1s；

第一预设阈值为0时，所述第二预设阈值为2s。