[发明专利]基于自适应策略优化的家庭清洁机器人控制系统

摘要

本发明公开了一种基于自适应策略优化的家庭清洁机器人控制系统，包括传感系统、控制系统、清洁系统、驱动系统及电力系统，所述传感系统采集环境信息和电力系统信息，并将环境信息和电力系统信息传入控制系统，所述控制系统根据接收到的信息通过自适应策略控制方法来处理，并传递该控制信号到驱动系统和清洁系统。本发明通过在清洁机器人的控制系统中采用自适应策略优化方法，处理来自传感系统获取的环境信息，然后选择合适的行动，并利用传感系统传递控制系统的控制信号到驱动系统和清洁系统，使清洁机器人执行对应的行动来清洁家庭环境。

主权项

1.一种基于自适应策略优化的家庭清洁机器人控制方法，包括传感系统、控制系统、清洁系统、驱动系统及电力系统，所述传感系统采集环境信息和电力系统信息，并将环境信息和电力系统信息传入控制系统，所述控制系统根据接收到的信息通过自适应策略控制方法来处理，并传递该控制信号到驱动系统和清洁系统，其自适应策略控制方法包括如下步骤：⑴通过传感系统获取环境信息，包括视觉环境信息和非视觉信息；⑵根据所述步骤⑴中获取的环境信息，初始化神经网络参数，包括环境状态信息和奖赏信息，并初始化强化学习算法的各项参数；⑶采用残差网络处理获取的环境信息，将高维度的环境视觉信息转换成低纬度的特征信息，低维度特征信息与所述非视觉信息作为策略网络和值网络的输入状态st；⑷由策略网络控制机器人的行动，值网络评价行动的好坏：在状态st根据当前策略计算所采取的行动at，机器人执行行动at后，获得新的环境状态st+1和立即奖赏rt，并通过值网络计算强化学习算法评价函数V(t)的值，用来评价行动at的好坏；⑸更新策略网络与值网络的参数，采用Adam梯度下降更新方式更新参数；所述策略网络损失函数L^π(θ)计算方式如下：其中π_θ(a_t|s_t)表示新策略在状态s_t，选择行动a_t的概率，π_θold(a_t|s_t)表示旧策略在状态s_t，选择行动a_t的概率，表示优势值；所述值网络的损失函数L^v(θ)的计算方式为：其中V(t)为评价函数，为梯度下降算法中的损失函数；所述Adam梯度下降更新方式计算损失函数为：其中π_θ(a_t|s_t)/π_θold(a_t|s_t)的值采用自适应区间裁剪方法来计算，c₁和c₂是常数，S[π_θ](s_t)表示的是策略π_θ在状态s_t处的熵，表示在未来时间步内获得的累积折扣奖赏，折扣因子γ(0≤γ≤1)；⑹查看是否满足学习终止条件，若不满足，则返回到步骤4继续循环，否则结束。