[发明专利]基于连续状态行为域强化学习的机器人羽状流追踪方法

说明书

本发明提出的基于连续状态行为域强化学习的机器人羽状流追踪方法，属于水下机器人路径规划领域。该方法对水下机器人进行羽状流热液喷口搜索的路径规划进行训练；机器人在每次羽状流追踪中通过生成状态向量输入当前决策神经网络，神经网络输出该时刻机器人前进方向，机器人匀速运行一段时间后，更新在新时刻的状态向量并判断单次羽状流追踪是否达到终止条件：当满足终止条件时，则单次羽状流追踪结束，机器人重新生成新的初始位置；若不满足，则机器人下一时刻继续前进；在此过程中，利用强化学习算法在每个时刻对决策神经网络进行更新，直到算法收敛。本发明学习速度快，收敛好，能够提高机器人追踪羽状流热液喷口的灵活性，降低搜索成本。

技术领域

本发明属于水下机器人路径规划领域，特别涉及一种基于连续状态行为域强化学习的机器人羽状流追踪方法。

背景技术

深海热液活动及其生命现象，是20世纪海洋科学界的重大发现之一。由于深海热液喷口与海底扩张、多金属硫化物成矿有着十分紧密的关系，且涉及热液环境中生物群落的演化过程、热液活动对全球气候变化的影响等前沿科学问题，因此，对深海热液的研究已经成为如今海洋研究的一大热点问题。

为了进一步研究深海热液，需要探索深海未知热液喷口的位置。研究学者发现，深海热液喷口会喷发出热液物质，这些热液物质会因为海流和自身布朗运动的作用，形成热液羽状流。羽状流追踪技术，就是让水下机器人通过分析深海中的热液羽状流的信息，找到喷口的技术。然而，现有的羽状流追踪方法很难适应各种深海的复杂环境，导致了现有的水下机器人存在着需要多次下潜回收才能找到目标喷口的问题，这些问题延长了作业时间并增加了作业成本。因此，设计出一种能够适应多种深海环境的羽状流跟踪方法，对于深海热液异常区的研究具有十分重要的意义。

受细菌“趋药性”行为的启发，一些寻找释放化学物质源头的方法考虑用浓度梯度法。在搜索过程中，通过测量不同位置的浓度，找到浓度梯度上升的方向作为搜索方向。有很多学者提出了不同的测量浓度梯度的方法，Connelly等提出让机器人做规定半径的圆周运动，采集圆周上点的浓度，计算出梯度下降的方向；而Burian等提出的是通过机器人在某点做往复运动，确定梯度大致下降的范围。这些方法最大的问题是为了得到浓度梯度，需要花费许多多余的轨迹。另外，随着对羽状流模型本身的了解加深，人们发现由于流场存在湍流，导致了羽状流的浓度并不是依照与喷口的距离递减的，有些烟羽细丝可能被湍流卷在一起，形成瞬时的高浓度，另一些烟羽细丝则可能被水流冲走，导致即使在羽状流的内部也有可能没有热液信号。因此，瞬时浓度梯度方法的有效性受到质疑。

虽然羽状流受到湍流的作用是不连续且时变的，但仍旧有一些动物可以通过食物的气味和雌性身上的信息素成功找到食物和同伴。因此，学者们开始研究龙虾、飞蛾的找寻过程，提出了仿生学的搜索策略。Hayes等人提出了逆风搜索和外螺旋搜索相结合的方法。在羽状流中，逆风方向比浓度梯度方向更能有效表示喷口的方向，因此，逆风搜索能让水下机器人尽快的到达热液喷口。但羽状流在湍流作用下是不连续，或者羽状流的中心线与流场方向不平行，会导致机器人在逆风搜索的过程中丢失热液信号。此时，则通过外螺旋运动的方法，逐步扩大机器人搜索半径，直到机器人重新检测到热液信号。Wei等人提出的搜索策略也包含逆风搜索步骤和重获信号搜索步骤。但在逆风搜索步骤中，考虑到烟羽细丝分布的不连续性导致的传感器即使身处羽状流中也可能检测不到热液信号的情况，该方法在刚检测不到热液的较短时间内，依旧逆风搜索，而不是直接进入重获热液的过程。为了防止此时逆风搜索导致热液丢失，会根据当前流场和当前位置与最后一次能检测到热液的位置的关系，为逆风方向增加一个固定的偏角。重获信号搜索步骤，则采用的是固定的三叶草搜索的方法，并通过实验数据，确定三叶草的大小。