[发明专利]机器学习装置、控制装置以及机器学习方法

说明书

本发明提供机器学习装置、控制装置以及机器学习方法。在机床、机器人或工业机械等的动作不稳定时，机器学习装置不会对使动作不稳定的校正量进行机器学习。针对具有至少一个反馈环、生成施加给反馈环的校正量的校正生成部、以及检测所述伺服电动机的异常动作的异常检测部的伺服控制装置，进行校正生成部的校正量的最佳化有关的机器学习，所述伺服控制装置对驱动机床、机器人或工业机械的轴的伺服电动机进行控制，在机器学习动作过程中，当异常检测部检测出异常时，停止来自校正生成部的校正，继续所述校正生成部生成的校正量的最佳化。

技术领域

本发明涉及对具有至少一个反馈环和生成施加给反馈环的校正的校正生成部的伺服控制装置进行校正生成部的校正量的最佳化有关的机器学习的机器学习装置、包含该机器学习装置的控制装置以及机器学习方法。

背景技术

例如专利文献1中记载了具有反馈环并对反馈环施加校正的伺服控制装置。

专利文献1公开了如下数值控制装置：能够减少在学习控制有关的位置偏差收敛之前的加工造成的工件浪费，并能够自动进行校正数据的存储和实际加工。具体来说，数值控制装置具有：学习控制单元，其具有生成位置偏差的位置反馈环，制作并存储基于同一动作模式中位置偏差的校正数据，根据校正数据来校正执行同一动作模式时的位置偏差。该数值控制装置使工具与工件从程序所指令的位置向不产生干扰的位置移位，自动重复同一动作模式的空运转直到指定次数或位置偏差为指定值以下为止，来制作校正数据，在制作校正数据之后，自动存储校正数据并且取消所述移位使工具与工件返回到产生干扰的所指令的位置，根据制作出的校正数据来校正位置偏差而执行同一动作模式来进行加工。

现有技术文献

专利文献1：日本特开平2006-215732号公报

在具有反馈环并根据位置偏差等生成施加给反馈环的校正的伺服控制装置中，存在如下情况：当生成的校正量不处于适当的范围、位置偏差增大时，由伺服控制装置驱动的机床、机器人、或工业机械的动作会不稳定，因警报使得机床等停止、结束。

例如，在并非空运转，而是一边使机床实际动作一边学习校正量的情况下，若该校正量不处于适当的范围，会在电动机或机械末端产生振动而无法进行有效的学习，此外，可能因警报使机床等停止、结束而导致学习中断。

在这一点上，专利文献1所记载的学习控制重复空运转，生成校正数据，因此，在空运转的学习控制过程中，不会在电动机或机械末端产生振动而无法进行有效的学习，还不会因警报使机床等停止、结束而导致学习中断。

另一方面，在使用后述的高次传递函数生成施加给反馈环的校正时，想到了机器学习装置一边使机床实际动作一边通过机器学习来求出该传递函数的系数这样的方法。

作为这样的学习方法的一例，想到了基于强化学习的传递函数系数的机器学习。强化学习是所谓的无监督学习，即，智能体观测环境状态，当选择某个行为时，根据该行为环境发生变化，随着环境的变化，提供某种回报，智能体学习更好的行为选择(决策)。通过这样的强化学习对传递函数系数进行机器学习，在环境状态是位置偏差的情况下，例如在选择该位置偏差增大这样的系数时，可能在电动机或机械末端产生振动而无法进行有效的机器学习，此外，因警报使机床等停止、结束而导致机器学习中断。因此，寻求一种机器学习装置、包含该机器学习装置的控制装置、以及机器学习方法，使得在机器学习装置一边使机床实际动作一边对校正量进行机器学习时，假使选择了不适当的校正量，也不会在电动机或机械末端产生振动而无法进行有效的学习，还不会因警报使机床等停止、结束而导致学习中断，而能够继续机器学习。

发明内容