[发明专利]一种基于机械臂的单站点给料生产加工系统的工作方法

权利要求书

1.一种基于机械臂的单站点给料生产加工系统的工作方法，所述单站点给料生产加工系统包括：机械臂(1)、传送带(2)、工业相机(3)、容量为M的缓存库(4)、容量为N的成品库(5)和工件(6)；

所述机械臂(1)位于所述传送带(2)的一侧，在所述机械臂(1)的两侧分别设置有所述缓存库(4)和成品库(5)；所述工业相机(3)处于所述机械臂(1)的上游，且垂直正对所述传送带(2)上的工件(6)，令所述工业相机(3)垂直正对的位置为拍照点P^cam；且所述工业相机(3)能将位于拍照点P^cam下游的工件位置传递给所述机械臂(1)；定义所述机械臂(1)的前视点为P^look，且位于所述前视点P^look下游的工件无法被所述机械臂(1)抓取；

定义缓存库(4)中的空余量为m；m∈[0,M]；定义所述机械臂(1)的抓手(7)的位置为p；当p＝1时，表示所述机械臂(1)的抓手(7)的位置在成品库(5)中；当p＝0时，表示所述机械臂(1)的抓手(7)的位置p在缓存库(4)中；由空余量m和抓手(7)的位置p构成所述加工系统的联合状态S_m,p；定义以所述前视点P^look为起点的一段观测距离为前视距离定义工件(6)经过所述前视距离所花费的时间为前视时间

定义所述机械臂(1)在所述传送带(2)上的工作范围为W^pick，并在所述工作范围W^pick内进行卸载操作，在缓存库(4)上进行服务操作；所述卸载操作是将所述工件(6)从所述传送带(2)上抓取至所述缓存库(4)中；所述服务操作是将所述缓存库(4)中的工件(6)进行加工后放入所述成品库(5)中；定义完成卸载操作的时间为卸载时间定义完成服务操作的时间为服务时间在完成卸载操作后所述机械臂(1)的抓手(7)处于所述缓存库(4)中；在完成服务操作后所述机械臂(1)的抓手(7)处于所述成品库(5)中；

所述加工系统是以所述空余量m和抓手(7)位置p作为状态来控制所述前视距离的长短，进而控制所述机械臂(1)的操作方式；

当空余量m较小时，则所述机械臂(1)选取较短的前视距离所述机械臂(1)趋向于服务操作；

当空余量m较大时，则所述机械臂(1)选取较长的前视距离所述机械臂(1)趋向于卸载操作；其特征是，所述工作方法是按如下步骤进行：

步骤1、所述加工系统开始运行，工件随机到达机械臂工作区间；设定传送带速度、机械臂速度、工件到达率、工件加工率；定义变量i，并初始化i＝1；

步骤2、所述机械臂(1)获取第i次的空余量m_i和抓手(7)位置p_i，根据最优控制策略v^*选择第i次前视距离所述最优控制策略v^*按以下步骤获得：

步骤2.1、所述加工系统以缓存库(4)的空余量和抓手(7)位置作为状态，前视距离的选取作为行动，建立半Markov决策模型；所述半Markov模型按以下步骤建立：

步骤2.1.1、定义所述缓存库(4)的状态为其空余量m，则所述缓存库(4)的状态空间为Φ₁，并有Φ₁＝{0,1,...,M}；

定义抓手(7)位置p的状态空间为Φ₂，并有Φ₂＝{0,1}；当p＝0时，表示所述机械臂(1)的抓手(7)的位置p在缓存库(4)中，当p＝1时，表示所述机械臂(1)的抓手(7)的位置在成品库(5)中；

定义所述加工系统的联合状态S_m,p的状态空间为Φ，并有Φ＝Φ₁×Φ₂；

步骤2.1.2、以前视距离作为所述加工系统在联合状态S_m,p下的行动，所述加工系统的一个平稳控制策略v为所有的联合状态到行动的映射，并有其中表示当缓存库(4)中的空余量为m，抓手(7)的位置在缓存库(4)中时加工系统的行动；表示当缓存库(4)中的空余量为m，抓手(7)的位置在成品库(5)中时加工系统的行动；定义所有策略v的集合为Ω，Ω＝{v|v＝(v(1),v(2),v(3),…,v(N)),v(i)∈D}；所述加工系统不存在S_M,0和S_0,1这两个状态，则相应的行动记为NaN；

步骤2.1.3、定义T_i为所述加工系统的第i次决策时刻，令T₀＝0；定义所述加工系统进行第i次Markov无后效性处理时的卸载操作延时为服务操作延时为

当所述机械臂(1)的第i次操作为卸载操作时，则第i+1次决策时刻T_i+1为：

Ti+1=Ti+max{tSmi,pi,tmi,piload}---(1)]]>

第i+1次联合状态为X_i+1＝S_m-1,0，表示抓手(7)位置为p＝0，缓存库(4)中的空余量为m-1；

第i次卸载操作延时为：

当所述机械臂(1)的第i次操作为服务操作时，则第i+1次决策时刻T_i+1为：

Ti+1=Ti+max{tSmi,pi,tmi,piser}---(3)]]>

第i+1次联合状态为X_i+1＝S_m+1,1；表示抓手(7)位置为p＝1，缓存库(4)中的空余量为m+1；

第i次服务操作延时为：

定义半Markov核Q^v(t)为：

Qv(t)=[Q(sm,p,vsm,p,sm′,p′,t)]sm,p,sm′,p′∈Φ=Pv⊗Fv(t)---(5)]]>

式(5)中，表示矩阵相乘的操作符；t表示系统时刻；P^v表示Markov嵌入链在策略v下的转移矩阵，F^v(t)表示在策略v下的逗留时间分布矩阵，并有：

Pv=[psm,psm′,p′(vsm,p)]sm,psm′,p′∈Φ---(6)]]>

Fv(t)=[Fsm,psm′,p′(t,vsm,p)]sm,psm′,p′∈Φ---(7)]]> 2

式(6)中是从状态S_m,p采取行动转移到S_m',p'的概率，式(7)中是在状态S_m,p采取行动到下一状态是S_m',p'的逗留时间分布；

步骤2.1.4、定义期望性能函数f^v为：

fv=[f(sm,p,vsm,p,sm′,p′)]sm,p,sm′,p′∈Φ---(8)]]>

式(8)中，表示加工系统采取行动从联合状态S_m,p转移到下一状态S_m',p'的单位时间期望代价；

步骤2.1.5、建立如式(9)所示的SMDP模型：

X＝(X_t,Φ,D,Q^v(t),f^v)(9)

式(9)中，X_t表示t时刻加工系统的状态过程；

步骤2.2、通过策略迭代算法对半Markov模型进行优化求解，得到最优控制策略v^*；

步骤3、判断所述第i次的最优前视距离内是否有工件，若有工件，则所述机械臂(1)对处于所述第i次的最优前视距离内最靠近前视点P^look的工件进行卸载操作后，执行步骤4；若没有工件，则所述机械臂(1)对所述缓存库(4)中的工件进行服务操作后，执行步骤5；

步骤4、判断最靠近前视点P^look的工件的第i次卸载时间是否大于所述最靠近前视点P^look的工件的第i次前视时间若大于，则将i+1赋值给i后，返回步骤2执行；否则，经过第i次的卸载延时后，将i+1赋值给i，并返回步骤2执行；

步骤5、判断最靠近前视点P^look的工件的第i次服务时间是否大于所述最靠近前视点P^look的工件的第i次前视时间若大于，则将i+1赋值给i后，返回步骤2执行；否则，经过第i次服务延时后，将i+1赋值给i，并返回步骤2执行。

2.根据权利要求1所述的基于机械臂的单站点给料生产加工系统的工作方法，其特征是：

所述策略迭代算法按以下步骤进行：

步骤1、根据半Markov核Q^v(t)和期望性能函数f^v，定义等价无穷小和等价性能矩阵并将SMDP模型X＝(X_t,Φ,D,Q^v(t),f^v)转换为连续时间Markov决策过程α是折扣因子，α∈[0,1]；

步骤2、定义变量k，定义v_k为加工系统的第k次策略；初始化k＝0；且第0次策略v₀为：

步骤3、利用式(11)获得第k次策略v_k的性能势向量

(αI-Aαvk+ραeπαvk)gαvk=fαvk---(11)]]>

式(11)中；I是单位对角矩阵；e为单位列向量；并有：

hαvk=(I-Qαvk)e/α---(12)]]>

ρα=max{hαvk(i)-1,i=1,2...N,vk∈Ω,α∈[0,1]}---(13)]]>

表示在状态i的平均逗留时间，表示等价Markov决策过程中第k次的稳态分布；并有：

Aαvkπαvk=0παvke=1Aαvke=0---(14)]]>

步骤4、利用式(15)获得第k+1次策略v_k+1：

vk+1∈argminv∈Ω{Aαvgαvk+fαv}---(15)]]>

步骤5、利用式(11)获得第k+1次策略v_k+1的性能势向量

步骤6、判断是否成立，ξ为一较小的常量；若成立，则表示所获得的第k+1次策略v_k+1即为最优控制策略v^*，并退出算法，否则；将k+1赋值给k后，返回步骤4。