[发明专利]基于插件执行任务分解的通用分布式动态运算技术

摘要

本发明涉及一种基于插件执行任务分解的通用分布式动态运算技术。本技术的操作步骤包括：(1)数据分块处理，(2)数据块分配，(3)执行数据运算命令，(4)结果组合、整理，(5)结果显示。所述技术是任务是基于插件模式运行的，其首先通过控制台插件管理模块运行任务插件，并接收用户输入的大型运算数据，经过分块处理后，针对分解后的数据块进行合理的分配，然后通过分布任务调度模块把M组服务端插件管理模块上传到远节点计算机中，并在各个服务端插件管理模块执行数据运算命令，最后将得出的准确的运算结果块组合、整理，并把最终结果显示到控制台终端。这样大大加快了数据运算的速度。与现有的技术相比，本发明的技术与实际应用情况密切结合，且易于实现，能够对大型数据进行高速、高效的运算，并能满足实际运用的要求。

主权项

基于插件执行任务分解的通用分布式动态运算技术，其特征主要表现在分布式运算的核心过程，任务是基于插件模式运行的：(1)通过控制台插件管理模块运行任务插件，并接收用户输入的大型运算数据，经过分块处理，得出多个大小相等的数据块；(2)将处理完成的数据块进行分组传送至分布任务调度模块，并通过建立中间介质‘控制数据集’来判断数据块个数和服务端插件管理模块个数的变化，同时也确定数据块组的数目和服务端插件管理模块组的数目；进而分布任务调度模块把M组服务端插件管理模块上传到远节点计算机；(3)根据控制台插件管理模块和服务端插件管理模块间相互通信的关系，进行小组数据块的传输工作及运算工作；(4)组合并整理多个运算结果；(5)在控制台终端显示最终运算结果。其具体操作步骤如下：(1)数据分块处理①运行任务插件：控制台插件管理模块运行任务插件；②接收源数据：控制台插件管理模块接收用户请求处理的源数据；③数据分块处理：控制台插件管理模块针对获取的源数据进行原始信息提取、源数据包大小、时间和帧头信息分块；④数据块组数目：控制台插件管理模块将分割后的数据块分成N组，N为大于等于1的自然数；每一组至少包含一个数据块，而且每组中的数据块数量相等(最后一组除外)；⑤数据块传送：控制台插件管理模块将数据块逐个传送至分布任务调度模块。(2)数据块分配①判断服务端插件管理模块的通信状况：为了清楚了解数据块从分布任务调度模块到服务端插件管理模块的传输进度以及分布式运算的工作进度，需要实时准确判断分布任务调度模块与服务端插件管理模块是否处于正常通信中；②控制数据集的建立：服务端插件管理模块建立控制数据集以便更好地传输数据块；③控制数据集的变更：分布任务调度模块实时监测每个服务端插件管理模块是否处于正常通信，随时准备变更控制数据集、重新标记控制数据集，并将变更后的控制数据集传送至已成功通信的每个服务端插件管理模块；④服务端插件管理模块分组：分布任务调度模块将所有的服务端插件管理模块分成多个小组；⑤服务端插件管理模块组数目：服务端插件管理模块组数目为M，每一组至少包含一个服务端插件管理模块，而且每组中服务端插件管理模块数目相等(最后一个除外)；⑥数据块的分配：分布任务调度模块分配N组数据块至M组服务端插件管理模块，每个服务端插件管理模块中分配的数据块数目相等(最后一个除外)；⑦上传插件：分布任务调度模块把M组服务端插件管理模块上传到远节点计算机。(3)执行数据运算命令①服务端插件管理模块与控制台插件管理模块的通信；服务端插件管理模块通过网络与控制台插件管理模块通信；②执行数据运算命令：控制台插件管理模块下发数据运算命令至服务端插件管理模块，由服务端插件管理模块执行N组数据块的运算命令，直至运算完毕。(4)结果组合、整理①结果块排列：分布任务调度模块接收到M组所述服务端插件管理模块的运算结果块，每个运算结果块带有相应的块号，则按照块号依次排列；②结果组合、整理：分布任务调度模块将所有的运算结果块进行融合并整理。(5)结果显示控制台插件管理模块接收到分布任务调度模块融合后的最终运算结果，将其显示在控制台插件管理模块终端。