[发明专利]模拟晶体结构相变过程的强化学习环境搭建及交互方法

说明书

本发明提供的一种模拟晶体结构相变过程的强化学习环境搭建及交互方法，属于强化学习和材料合成技术领域。该方法首先获取晶体结构发生相变过程的所有可能结构，并定义结构变换的规则。因为该方法设置变换半径与随机选定的可变换结构点的可用能量值为两个变换规则作为结构变换约束条件，从而得到模拟晶体结构相变过程的强化学习环境，因此，本发明利用计算机模拟晶体结构的相变过程来获取相变过程的中间结构，可以有效地辅助实验的进行，减少实验次数降低成本，对材料合成学科具有较高的经济价值。

技术领域

本发明属于强化学习和材料合成技术领域，具体提供一种模拟晶体结构相变过程的强化学习环境搭建及交互方法。

背景技术

不同结构的晶体具有不同的特性。在晶体材料合成的过程中经常需要制备出具有某项最佳性能的晶体结构的材料，方法是从已有的晶体结构通过相变过程变为目标晶体结构，过程需要经过多次实验进行验证，而实验的成本过高、耗时长。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种模拟晶体结构相变过程的强化学习环境搭建及交互方法。

本发明提供了一种模拟晶体结构相变过程的强化学习环境搭建方法，具有这样的特征，包括：获取晶体结构发生相变过程的所有可能结构；对所有可能结构包含的特定信息处理后进行结构变换并定义变换规则。

本发明提供的方法，还具有这样的特征：其中，变换规则包括第一变换规则与第二变换规则，第一变换规则包括设置变换半径；第二变换规则基于第一变换规则包括随机选定一个可变换结构点并判断该可变换结构点的可用能量值。

本发明提供的方法，还具有这样的特征：其中，若可变换结构点的可用能量值为正值，则变换成功；若可变换结构点的可用能量值为负值，则保持不变，并在设置的变换半径的范围内寻找其他可变换结构点。

本发明提供的方法，还具有这样的特征：若已知起点结构和终点结构，则结构变换通过设置奖励函数靠近或到达终点结构，其中，奖励函数包括依据强化学习环境设置的奖励函数；或奖励函数包括依据相变过程中能量的吸收值或能量的释放值作为奖励的参考值。

本发明提供的方法，还具有这样的特征：若未知起点结构和终点结构，则将达到每轮迭代预定次数的阈值对应的可能结构作为终点结构。

本发明提供的方法，还具有这样的特征：其中，可变换结构点的可用能量值的计算公式如下：可用能量值＝模拟环境能量的补给值+变换前后结构能量初值的差值。

本发明提供的方法，还具有这样的特征：其中，所有可能结构包含的特征信息包括每种可能结构的原子三维空间坐标信息与能量初值信息。

本发明提供的方法，还具有这样的特征：其中，对特征信息进行处理包括：将每种可能结构的原子三维空间坐标信息拉直后利用降维算法得到降维坐标并进行可视化。

本发明提供的方法，还具有这样的特征：其中，基于所有可能结构对应的降维坐标的最大差值设置变换半径。

本发明提供的方法，还具有这样的特征：其中，变换半径基于可视化后的二维平面图的预定尺寸、每种可能结构对应的二维数据点的密度及晶体的加热方式进行调解。

本发明提供的方法，还具有这样的特征：其中，模拟晶体结构相变过程的强化学习环境包括自由环境、绝热环境及带耗散环境。

本发明还提供一种强化学习环境交互方法，具有这样的特征：将强化学习环境对应的所有可能结构映射为状态表示后与强化学习代理进行交互；或将强化学习环境对应的所有可能结构进行量子态编码，并映射为状态表示后与强化学习代理进行交互，其中，强化学习环境由上述模拟晶体结构相变过程的强化学习环境搭建方法搭建得到。