[发明专利]能量束热作用状态控制方法

摘要

本发明提供了一种能量束热作用状态控制方法，包括步骤：实施不同能量束工作参数下形成的材料结构性能测试，对能量束作用下材料发射出的多波段复合电磁波信号和相应的材料结构性能进行数据采样；使用神经网络学习获得材料结构性能评价网络；设定目标材料结构性能，从随机能量束工作参数开始，通过控制策略施加控制动作，通过性能评价网络计算控制动作执行后的回报值，获得以能量束热作用状态、控制动作、回报值和下一时刻能量束热作用状态为数据单元的能量束工作历史数据集；使用神经网络在能量束工作历史数据集上进行训练学习更新控制策略；验证控制策略是否满足目标材料结构性能要求，如不满足，则再次更新控制策略。

主权项

1.一种能量束热作用状态控制方法，其特征在于，包括步骤：步骤1：对于能量束对材料的热作用状态，本发明使用传感器采集到的不同波段电磁波点阵数据来对其进行表征；本发明使用（λ’，λ’’，λ’’’）来分别代表采集到的红外波段电磁波信号点阵数据、可见光波段电磁波信号点阵数据和其它波段电磁波信号点阵数据；为了表征能量束热作用状态在时间维度受到的影响，本发明在每一个离散时间t范围内采集连续m帧（m>2）电磁波信号来联合表征能量束热作用状态s，因此t时刻能量束热作用状态s完整表达为[(λ’1~λ’m)，(λ’’1 ~λ’’m )， (λ’’’1~λ’’’m))]共3×m层二维点阵数据；针对能量束工作参数如功率P、速率V和焦深F设计正交实验，得到M种（P，V，F）组合，在相同规则矩形区域内分别使用M种（P，V，F）组合执行能量束作业，作业过程中使用传感器采集能量束热作用状态数据[(λ’1~λ’m)，(λ’’1 ~λ’’m )， (λ’’’1~λ’’’m))]，作业结束后对形成的材料结构进行性能测试，如屈服强度σ测试，从性能测试结果中选择N个性能区间，要求N个性能区间具有足够差异性并且能够覆盖性能测试结果的上下限；以{[(λ’1~λ’m)，(λ’’1 ~λ’’m )， (λ’’’1~λ’’’m))]，σ}为数据单元采集构成能量束热作用状态与相应材料结构性能的数据集；步骤2：使用神经网络Pe (s；ε)在步骤1中得到的以{[(λ’1~λ’m)，(λ’’1 ~λ’’m )， (λ’’’1~λ’’’m))]，σ}为数据单元构成的能量束热作用状态与相应材料结构性能的数据集上进行训练学习；其输入为能量束热作用状态的表征数据s =[(λ’1~λ’m)，(λ’’1 ~λ’’m )， (λ’’’1~λ’’’m))]，输出为步骤1中选择的N种材料结构性能σ，ε为训练得到的神经网络参数；以(s，σ)作为训练数据单元，以损失值(σ ‑ Pe (s；ε))2使用随机梯度下降法训练更新Pe的网络参数ε；学习完成后得到性能评价网络Pe (s；ε)，对于任意能量束热作用状态s，通过性能评价网络输出为当前能量束热作用状态下形成的材料结构性能在N种材料结构性能上的概率分布，即一个含有N个元素的向量[p1, p2,…, pN]s；对于目标能量束热作用状态sta，通过性能评价网络输出为目标能量束热作用状态下形成的材料结构性能在N种材料结构性能上的概率分布，即一个含有N个元素的向量[p1, p2,…, pN]sta；对一维向量[p1, p2,…, pN]s和[p1, p2,…, pN]sta做相似性计算得到s与sta的相似度值ω，该相似度值ω即为对当前能量束热作用状态的评价值；步骤3：本发明在离散时间序列(t1~tn)上对能量束热作用状态控制过程进行描述：在每一个时刻ti对能量束热作用状态都有一个si来对其进行表达，因而对应离散时间序列(t1~tn)有能量束热作用状态序列(s1~sn)；对于每一个能量束热作用状态si都有一个控制动作ai与之对应；在ai的作用下能量束热作用状态由si转变为si+1；本发明能量束增量控制动作空间为能量束功率增量、能量束速度增量、能量束焦深增量与能量束工作模式增量的组合；本发明将能量束增量控制动作空间表述为{a=(∆p, ∆v, ∆f, ∆m)| ∆p∈{‑αW,0 W,αW },∆v∈{‑βmm/s,0 mm/s,βmm/s},∆f∈{‑γmm,0 mm,γmm},∆m∈{‑1,0,1}}；控制动作a=(αW,‑βmm/s,γmm,‑1)即在当前能量束工作参数基础上增加αW功率，降低βmm/s速度，增加γmm焦深并将工作模式减1；为了对本发明的控制目标进行表达，本发明定义了一个回报值r，对于每一个能量束热作用状态si和控制动作ai都有一个回报值ri来表示当前能量束热作用状态的好坏；设定随机目标材料结构性能，从随机能量束工作参数开始，对能量束工作参数施加随机控制动作，通过步骤2中得到的性能评价网络Pe (s；ε)给出对当前能量束热作用状态si的评价值ωi；设定评价值阀值κ，当ωi<κ，将回报值ri赋值为0，当ωi>κ，将回报值ri赋值为1；本发明将si+1与(si，ai，ri)联合组成一个数据单元即ei=(si，ai，ri，si+1)；在离散时间序列(t1~tn)上采集的(e1~en)构成能量束工作历史数据集D0；步骤4：本发明使用神经网络Q (si，ai；θ)来评价从当前ti时刻起能量束热作用状态长程的好坏，称Q为值函数；值函数Q的输入为能量束热作用状态si，输出为执行控制动作ai的长程回报值yi；Q^(si，ai；θ‑)为目标值函数；使用随机参数θ初始化值函数Q，同时初始化目标值函数Q^，目标值函数Q^的参数θ‑ = θ；从历史数据集D0中随机提取(sj，aj，rj，sj+1)，如果j+1为时间终止步，那么yj= rj；如果j+1不是时间终止步，那么yj= rj+maxaj+1 Q^(sj+1，aj+1；θ‑)；以(sj，aj，yj)作为训练数据单元，以损失值(yj ‑ Q(sj，aj；θ))2使用随机梯度下降法训练更新值函数Q的网络参数θ；训练完成后设置Q^ = Q；此时控制策略设置为：在t时刻，在概率δ下选择随机动作at，在概率1‑δ下选择动作at = argmaxaQ(st，a；θ)，即选择能量束热作用状态st下使得值函数Q最大的控制动作；步骤5：本发明在离散时间序列(t1~tn)上对能量束热作用状态控制过程进行描述：在每一个时刻ti对能量束热作用状态都有一个si来对其进行表达，因而对应离散时间序列(t1~tn)有能量束热作用状态序列(s1~sn)；对于每一个能量束热作用状态si都有一个控制动作ai与之对应；在ai的作用下能量束热作用状态由si转变为si+1；本发明能量束增量控制动作空间为能量束功率增量、能量束速度增量、能量束焦深增量与能量束工作模式增量的组合；本发明将能量束增量控制动作空间表述为{a=(∆p, ∆v, ∆f, ∆m)| ∆p∈{‑αW,0 W,αW },∆v∈{‑βmm/s,0 mm/s,βmm/s},∆f∈{‑γmm,0 mm,γmm},∆m∈{‑1,0,1}}；控制动作a=(αW,‑βmm/s,γmm,‑1)即在当前能量束工作参数基础上增加αW功率，降低βmm/s速度，增加γmm焦深并将工作模式减1；为了对本发明的控制目标进行表达，本发明定义了一个回报值r，对于每一个能量束热作用状态si和控制动作ai都有一个回报值ri来表示当前能量束热作用状态的好坏；设定随机目标材料结构性能，从随机能量束工作参数开始，使用步骤4中得到的控制策略根据能量束热作用状态对能量束工作参数施加控制动作，通过步骤2中得到的性能评价网络Pe (s；ε)给出对当前能量束热作用状态si的评价值ωi；设定评价值阀值κ，当ωi<κ，将回报值ri赋值为0，当ωi>κ，将回报值ri赋值为1；本发明将si+1与(si，ai，ri)联合组成一个数据单元即ei=(si，ai，ri，si+1)；在离散时间序列(t1~tn)上采集的(e1~en)构成能量束工作历史数据集Dπi；步骤6：在该步骤中值函数Q设置为步骤4中更新后的Q，目标值函数Q^设置为步骤4中更新后的Q^；从历史数据集Dπi中随机提取(sj，aj，rj，sj+1)，如果j+1为时间终止步，那么yj= rj；如果j+1不是时间终止步，那么yj= rj+maxaj+1 Q^(sj+1，aj+1；θ‑)；以(sj，aj，yj)作为训练数据单元，以损失值(yj ‑ Q(sj，aj；θ))2使用随机梯度下降法训练更新值函数Q的网络参数θ；训练完成后设置Q^ = Q；此时控制策略更新为：在t时刻，在概率δ下选择随机动作at，在概率1‑δ下选择动作at = argmaxaQ(st，a；θ)，即选择能量束热作用状态st下使得值函数Q最大的控制动作；步骤7：针对步骤1中选择的N个材料结构性能区间，分别从随机能量束工作参数开始，执行步骤6中得到的控制策略（将概率δ设置为0），分别验证该控制策略是否能够施加合适控制动作使得能量束作用下形成的材料结构性能分别达到N个目标材料结构性能：如果不能，则重复步骤5与步骤6；如果能，那么该控制策略即为本发明最终的能量束热作用状态控制策略。