[发明专利]基于Python扩展模块的多进程共享系统及方法

说明书

技术领域

本发明涉及进程间数据共享技术领域，具体涉及一种基于Python扩展模块的多进程共享系统及方法。

背景技术

在Python开发环境中，进程间的交互往往需要共享数据，同时可能存在数据内容的频繁更新。multiprocessing是Python支持多进程管理的程序包，利用multiprocessing的Value，Array，Manager等结构方法能够创建共享的对象，多个进程访问该对象实现数据的共享。

multiprocessing提供多种方法对象实现进程间的数据共享。Manager采用代理与服务器的模式，由manager对象控制服务端进程，该进程包含的Python对象可以被其他进程通过代理的方式访问，实现进程间的数据共享。Value和Array是另一种简单对象，主进程创建对象的实例，并将数据存储在映射的共享内存中，通过参数传递的方式供其他进程使用。

以上描述的multiprocessing技术方案存在的主要缺点是：

1、Value结构为单个数据的共享，不能满足复杂的表结构共享，而Array结构仅允许使用索引访问共享的数据且个数固定，功能上受到很大的限制；

2、multiprocessing.Manager本身设计为代理与服务器模式，共享数据的性能较差，测试发现在manager中使用Dict对象更新100万的数据，耗时超过24秒。同时manager对象控制的服务器进程缺少健壮的异常处理机制，容易产生异常子进程。

发明内容

本发明克服了现有技术的不足，提供一种基于Python扩展模块的多进程共享系统及方法。

为解决上述的技术问题，本发明采用以下技术方案：

一种基于Python扩展模块的多进程共享方法，所述的方法包括以下步骤：

步骤一、初始化全局管理器并解析输入参数；

步骤二、分配指定名称和大小的共享内存，且所述名称具有唯一性；若已经存在，则执行步骤4，若不存在，则分配固定大小的内存空间；

步骤三、初始化slab内存管理器，构建红黑树，并返回创建Python扩展对象；

步骤四、调用功能方法，分析处理后返回PyObject对象。

更进一步的技术方案是所述步骤一包括类型、成员及方法的注册，以及模块名称、内存大小的参数解析。

更进一步的技术方案是所述步骤四中所述调用功能方法包括添加，更新，删除操作。

更进一步的技术方案是提供一种基于Python扩展模块的多进程共享系统，包括：

内存管理模块，用于定义内存管理的接口与程序结构，并且利用原子锁模块实现加锁处理；

红黑树模块，用于实现红黑树算法逻辑，提供初始化，插入，删掉方法；

共享内存模块，该模块实现共享内存的分配与回收接口；

原子锁模块，用于实现原子互斥锁逻辑，提供锁创建，加锁，解锁，锁销毁方法；

接口模块，用于利用内存管理模块，红黑树模块以及原子锁模块实现功能调用的接口；

封装模块，用于定义Python的扩展类型，注册对外开放的方法和属性；

所述共享内存模块、原子锁模块分别连接所述内存管理模块；所述内存管理模块连接所述接口模块；所述红黑树模块连接所述接口模块；所述原子锁模块分别连接所述红黑树模块和接口模块；所述接口模块连接所述封装模块。

与现有技术相比，本发明实施例的有益效果之一是：

1、本发明相比于multiprocessing等现有技术具有更高的性能，经测试对比发现，操作更新100万的共享数据，耗时仅为2.5秒，访问速度提升近10倍；

2、本发明通过使用原子锁和信号机制，保护处理异常子进程，同时避免出现程序死锁现象，运行程序更加稳定，异常处理更加完善；

3、本发明合理使用内存管理机制，减少内存碎片化，内存利用更加高效。

附图说明

图1为本发明一个实施例的设计步骤图。

图2为本发明一个实施例中设计步骤相对应的流程图。

图3为本发明另一个实施例的系统模块结构框图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。