[发明专利]基于Intelli‑DSC的分布式并行任务处理系统

摘要

本发明公开了一种基于Intelli‑DSC的分布式并行任务处理系统，包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接；媒体服务单元设置有分布式任务处理DSC进程、DSC进程管理DSCM进程。本发明分布式任务处理进程能够进行自我管理、智能恢复、主动克隆，在任务执行前，DSC处于休眠状态，调度中心根据任务的处理需求把任务分解成任务切片，每个切片对应一个DSC进程实例，系统根据任务切片的多少，唤醒并自动的克隆对应数量的DSC实例数量，可保证DSC的处理数量与当前的工作量相匹配，并均衡负载。

主权项

基于Intelli‑DSC的分布式并行任务处理系统，其特征在于：包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接；所述的媒体服务单元设置有分布式任务处理DSC进程、DSC进程管理DSCM进程和第一进程启动代理Agent进程，分布式任务处理DSC进程完成媒体文件的处理，分布式任务处理DSC进程实例在运行过程中实时向分布式任务调度TSC进程汇报自己的当前状态；DSC进程管理DSCM进程使DSC进程具有自我管理能力、异常退出后自动恢复能力和主动克隆能力，根据参数配置的DSC进程实例数量动态调整本地DSC进程实例数量；在任务执行前，分布式任务处理DSC进程处于休眠状态，分布式任务调度中心根据任务的处理需求将任务分解成颗粒适中的任务切片，每个切片对应一个分布式任务处理DSC进程实例，系统根据任务切片的多少唤醒并自动的克隆对应数量的分布式任务处理DSC进程实例数量；同时，DSC进程管理DSCM进程获取本地设备上所有DSC进程实例汇报的实时状态，并向TSC集群转发本地设备上DSC进程实例状态，以备分布式任务调度TSC进程完成任务的实时分配和调度；第一进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务处理DSC进程、DSC进程管理DSCM进程实例的维护；所述的分布式任务调度中心设置有分布式任务调度TSC进程、高效集群控制HAC进程和第二进程启动代理Agent进程，分布式任务调度TSC进程获取用户提交的任务列表，实时获取并维护分布式任务处理DSC进程的状态信息，根据分布式任务处理DSC进程的状态信息和任务分配原则完成对任务的调度分配；分布式任务调度TSC部署在任意多台计算机设备上，这些计算机设备组成一个分布式任务调度集群网络环境，多个分布式任务调度TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个分布式任务调度TSC进程实例的状态为主，其他都为备；分布式任务调度TSC进程实例的主备切换通过高效集群控制HAC进程完成，所有分布式任务调度TSC进程在运行过程中实时向高效集群控制HAC进程汇报自己的当前状态，只要发现当前为主状态的分布式任务调度TSC进程实例异常，就根据参数序号原则在剩下的为备状态的分布式任务调度TSC进程实例中选择一个序号最小的分布式任务调度TSC进程实例为主，该分布式任务调度TSC进程实例在切换后，保留预设时间间隔的时间窗；高效集群控制HAC进程完成分布式任务调度集群网络环境和分布式任务调度TSC进程之间的心跳检测，实时监视并控制分布式任务调度TSC进程的主备状态，高效集群控制HAC进程在运行过程中实时向互为备份的高效集群控制HAC进程实例汇报自己的当前状态，并实时获取所有分布式任务调度TSC进程实例的状态信息，根据TSC状态信息发送正确的控制命令，只有状态为主的高效集群控制HAC进程实例才能控制分布式任务调度TSC进程实例间的主备状态切换；第二进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务调度TSC进程、高效集群控制HAC进程实例的维护。