[发明专利]基于机器人集群的全产业链制造方法及系统

权利要求书

1.基于机器人集群的全产业链制造方法，其特征在于，包括以下步骤：

S1：构建第一控制器，包括供应链智联平台以及产业智联平台，通过供应链智联平台对企业供应链进行管理，通过产业智联平台对产业数据进行管理分析并生成生产信息；

S2：构建第二控制器，包括群智网络控制器以及微控制云平台，将微控制云平台连接第一控制器并接收生产信息，将群智网络控制器连接至微控制云平台，并根据生产信息对产线进行调度及控制；

S3：构建第三控制器，将第三控制器连接至群智网络控制器，接收来自群智网络控制器的生产任务信息，并根据生产任务信息对制造机器人进行控制；

所述S2包括：

S21：通过微控制云平台接收来自供应链智联平台以及产业智联平台的供应链信息以及生产信息；

S22：根据供应链信息以及生产信息，通过群智网络控制器生成产线生产任务规划和调度数据；

所述群智网络控制器包括多个智能体，定义第i个智能体的奖励函数，这里，,；以及定义第i个智能体的最优确定性策略函数，其中为第个智能体的动作值，为第i个智能体的状态观测值，为策略网络优化后的最优参数向量；

获取所述最优参数向量的具体过程为：

对多个智能体进行初始化，并将初始化作为第0轮迭代，初始化第0轮所有智能体的状态观测为，其中表示第0轮迭代所有智能体的状态观测集合，表示第0轮迭代中智能体N的状态观测集合；

初始化第个智能体的确定性策略网络，其中为确定性策略网络初始化参数向量；

初始化第个智能体的目标策略网络，其中为目标策略网络初始化参数向量；

初始化第个智能体的动作价值网络，其中为动作价值网络初始化参数向量；

初始化第个智能体的目标动作价值网络，其中为目标动作价值网络始化参数向量；

对多个智能体进行m轮迭代，接收智能体的初始化状态观测，对每个智能体使用当前策略函数和动作探索生成动作，其中表示当前时间步t的智能体i的动作，表示当前时间步t的目标策略网络参数向量；

将储存到经验回放缓冲池中，其中,,,；

从经验回放缓冲池中随机抽取容量为S的小批量样本，并用第个样本()，计算TD目标，即，其中，；

计算时序差分：，其中；

更新第个智能体的动作价值网络参数向量，其中是学习率超参数， 是动作价值网络关于参数向量的梯度；

更新第个智能体的策略网络参数向量：

，其中是学习率超参数；；

更新目标动作价值网络参数向量，并更新目标策略网络参数向量，其中是权重系数；

输出N个智能体的策略网络优化后的最优参数向量，得到每个智能体的最优的确定性策略函数。

2.根据权利要求1所述的基于机器人集群的全产业链制造方法，其特征在于，所述S1包括：

S11：将供应链智联平台连接至不同企业，并根据企业的供应链对企业的供应端,生产端以及销售端进行订单的规划和调度，并将供应链智联平台连接至产业智联平台；

S12：产业智联平台通过服务器集群对产业信息或资源进行共享。

3.根据权利要求2所述的基于机器人集群的全产业链制造方法，其特征在于，所述S3中包括：

S31：第三控制器接收群智网络控制器的产线生产任务规划和调度数据，并根据产线生产任务规划和调度数据对机器人进行控制；

S32：机器人集群通过视觉传感器对执行部位进行定位，并通过执行机构执行生产操作；

S33：机器人集群通过反馈传感器对工作环境进行感知，获得生产数据，并将生产数据通过第三控制器反馈至第二控制器。