[发明专利]强化学习环境的搭建及交互方法

说明书

本发明提供一种强化学习环境的搭建及交互方法，属于强化学习与材料学科领域。因为该方法利用计算机模拟晶体结构的相变过程来获取相变过程的中间结构，并定义变换规则，从而可以有效地辅助实验的进行，所以可以减少实验次数降低成本，对材料合成学科具有很高的经济价值。

技术领域

本发明属于强化学习和材料合成技术领域，具体提供一种强化学习环境的搭建及交互方法。

背景技术

不同结构的晶体具有不同的特性。在晶体材料合成的过程中，通常需要制备出具有某项最佳性能的晶体结构的材料，方法是从已有的晶体结构通过相变过程变为目标晶体结构，过程需要经过多次实验进行验证，而实验的成本过高。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种强化学习环境的搭建及交互方法。

本发明提供了一种强化学习环境的搭建方法，用于模拟晶体结构的相变过程，具有这样的特征，包括：获取晶体结构发生相变过程的所有可能结构从而构建模拟相变环境；基于构建好的模拟相变环境定义变换规则。

本发明提供的方法，还具有这样的特征：其中，变换规则包括第一变换规则、第二变换规则及第三变换规则，第一变换规则用于判断每种可能结构按元素类型进行编码后并改变原子位点的元素类型获得的晶体结构是否满足第一预定范围；第二变换规则用于判断每种可能结构可视化后的降维信息与之变换后的可变换结构之间的距离是否满足第二预定范围；第三变换规则用于判断满足第一预定范围与第二预定范围的可变换结构的可用能量值是否为正值。

本发明提供的方法，还具有这样的特征：其中，若可变换结构的可用能量值为正值，则变换成功；若可变换结构的可用能量值为负值，则保持该结构不变，并在预定的范围内寻找其他可变换结构。

本发明提供的方法，还具有这样的特征：其中，预定的范围包括第一预定范围与第二预定范围，第一预定范围为编码后的所有可能结构，第二预定范围为每种可能结构可视化后的降维信息与之变换后的可变换结构之间的距离是否小于预定距离。

本发明提供的方法，还具有这样的特征：其中，若每种可能结构可视化后的降维信息与之变换后的可变换结构之间的距离小于预定距离，则满足第二预定范围，否则，重新选取另一可变换结构进行预定距离判断。

本发明提供的方法，还具有这样的特征：其中，预定距离用于判断变换前后的可能结构之间的相似性。

本发明提供的方法，还具有这样的特征：其中，将变换成功的可变换结构确定为第一可变换结构，并依次确定下一个可变换结构。

本发明提供的方法，还具有这样的特征：其中，判断可变换结构是否为终点结构或是否满足最大变换次数；若是，则变换结束，否则重复执行变换规则。

本发明提供一种强化学习环境的交互方法，具有这样的特征：将强化学习环境对应的所有可能结构映射为状态表示后与强化学习代理进行交互；或将强化学习环境对应的所有可能结构进行量子态编码，并映射为状态表示后与强化学习代理进行交互，其中，强化学习环境由上述强化学习环境的搭建方法搭建得到。

本发明提供的方法，还具有这样的特征：其中，量子态编码包括：将每种可能结构的高维数据归一化后得到归一化向量；将归一化向量处理得到量子态右矢；将量子态右矢共轭转置得到对应的量子态左矢；将量子态右矢与量子态左矢做外积，即得量子态编码后得到的结构密度矩阵。

发明的作用与效果

根据本发明提供的强化学习环境的搭建方法，因为该方法利用计算机模拟晶体结构的相变过程来获取相变过程的中间结构，并定义变换规则，从而可以有效地辅助实验的进行，所以可以减少实验次数降低成本，对材料合成学科具有很高的经济价值。

附图说明

图1是本发明实施例的强化学习环境的搭建方法的总流程图；