[发明专利]机器学习装置、控制装置以及机器学习方法

权利要求书

1.一种机器学习装置，其针对具有至少一个反馈环、生成施加给该反馈环的校正量的校正生成部、以及检测伺服电动机的异常动作的异常检测部的伺服控制装置，进行所述校正生成部的校正量的最佳化有关的机器学习，所述伺服控制装置对驱动机床、机器人或工业机械的轴的所述伺服电动机进行控制，其特征在于，

至少一个反馈环包含位置反馈环和速度反馈环中的至少一个，所述校正生成部生成针对所述位置反馈环的位置前馈项、针对所述速度反馈环的速度前馈项、以及伺服电动机的反转时的校正中的至少一个，

所述机器学习装置具有：

状态信息取得部，其针对所述伺服控制装置，从所述伺服控制装置取得包含针对所述反馈环的指令、以及所述反馈环内的伺服状态的状态来作为状态信息，所述状态信息具体包含所述伺服控制装置中的施加所述位置前馈项的位置前馈处理部的传递函数的各系数、所述伺服控制装置中的施加所述速度前馈项的速度前馈处理部的传递函数的系数、和所述伺服电动机的反转时的校正中的至少一个、以及根据这些信息执行学习时的加工程序而取得的所述伺服控制装置的位置指令和位置偏差信息；

学习部，其基于由所述状态信息取得部输出的所述状态信息，对所述校正量的最佳化进行机器学习，

在机器学习动作过程中，在所述伺服控制装置中当所述异常检测部检测出异常时，通过通知校正停止，停止将由所述校正生成部生成的校正量施加于所述反馈环的校正，直至用于进行机器学习的加工程序结束为止，之后，在重新使所述用于进行机器学习的加工程序从开始位置进行动作时，通过所述校正生成部生成与在所述异常检测部检测出异常时由所述校正生成部生成的校正量不同的新的校正量，将校正量调整通知信号通知给所述异常检测部，由此使施加给所述反馈环的校正重新开始，在所述机器学习装置中继续所述校正生成部生成的校正量的最佳化有关的机器学习。

2.根据权利要求1所述的机器学习装置，其特征在于，所述伺服控制装置具有在所述反馈环与所述校正生成部内或所述校正生成部的后级之间设置的开关，在所述异常检测部检测出异常动作时，断开所述开关，并向所述机器学习装置通知停止对所述反馈环的校正，

所述机器学习装置接收到停止对所述反馈环的校正的通知时，使学习反映所述校正量。

3.根据权利要求1或2所述的机器学习装置，其特征在于，

作为所述机器学习而进行强化学习，

在从所述异常检测部接收到停止校正通知时，给予不选择进行异常动作的所述校正量那样的回报。

4.根据权利要求3所述的机器学习装置，其特征在于，

根据所述回报来更新价值函数，并根据更新后的价值函数生成最佳的所述校正量或校正参数的调整信息，输出给所述校正生成部。

5.根据权利要求1或2所述的机器学习装置，其特征在于，

所述异常检测部在位置偏差、转矩指令、或该两者为预先设定的阈值以上时检测为异常。

6.根据权利要求1或2所述的机器学习装置，其特征在于，

所述伺服控制装置还具有：报知部，其在所述异常检测部检测出异常时，报知异常的检测。

7.根据权利要求2所述的机器学习装置，其特征在于，

所述伺服控制装置具有设置于所述开关的后级的低通滤波器，在所述开关进行切换时通过所述低通滤波器。

8.根据权利要求2所述的机器学习装置，其特征在于，

所述反馈环具有：速度控制部，其具有对速度偏差进行积分的积分器，

在所述开关进行切换时进行所述积分器的重写。

9.一种控制装置，其特征在于，具有：

权利要求1～8中任一项所述的机器学习装置；以及

伺服控制装置，其对驱动机床、机器人或工业机械的轴的伺服电动机进行控制，该伺服控制装置具有至少一个反馈环、生成施加给该反馈环的校正的校正生成部、以及检测所述伺服电动机的异常动作的异常检测部。