[发明专利]模拟晶体结构相变过程的强化学习环境搭建及交互方法

权利要求书

1.一种模拟晶体结构相变过程的强化学习环境搭建方法，其特征在于，包括如下步骤：

获取晶体结构发生相变过程的所有可能结构；

对所述所有可能结构包含的特定信息处理后进行结构变换并定义变换规则。

2.根据权利要求1所述的方法，其特征在于：

其中，所述变换规则包括第一变换规则与第二变换规则，

所述第一变换规则包括设置变换半径；

所述第二变换规则基于所述第一变换规则包括随机选定一个可变换结构点并判断该可变换结构点的可用能量值。

3.根据权利要求2所述的方法，其特征在于：

其中，若所述可变换结构点的可用能量值为正值，则变换成功；

若所述可变换结构点的可用能量值为负值，则保持不变，并在设置的所述变换半径的范围内寻找其他可变换结构点。

4.根据权利要求1所述的方法，其特征在于：

若已知起点结构和终点结构，则所述结构变换通过设置奖励函数靠近或到达所述终点结构，

其中，所述奖励函数包括依据强化学习环境设置的奖励函数；或

所述奖励函数包括依据相变过程中能量的吸收值或能量的释放值作为奖励的参考值。

5.根据权利要求1所述的方法，其特征在于：

若未知起点结构和终点结构，则将达到每轮迭代预定次数的阈值对应的可能结构作为所述终点结构。

6.根据权利要求3所述的方法，其特征在于：

其中，所述可变换结构点的可用能量值的计算公式如下：

可用能量值＝模拟环境能量的补给值+变换前后结构能量初值的差值。

7.根据权利要求2所述的方法，其特征在于：

其中，所述所有可能结构包含的特征信息包括每种可能结构的原子三维空间坐标信息与能量初值信息。

8.根据权利要求7所述的方法，其特征在于：

其中，对所述特征信息进行处理包括：

将所述每种可能结构的原子三维空间坐标信息拉直后利用降维算法得到降维坐标并进行可视化。

9.根据权利要求8所述的方法，其特征在于：

其中，基于所述所有可能结构对应的降维坐标的最大差值设置所述变换半径。

10.根据权利要求9所述的方法，其特征在于：

其中，所述变换半径基于可视化后的二维平面图的预定尺寸、每种可能结构对应的二维数据点的密度及所述晶体的加热方式进行调解。

11.根据权利要求1所述的方法，其特征在于：

其中，所述模拟晶体结构相变过程的强化学习环境包括自由环境、绝热环境及带耗散环境。

12.一种强化学习环境的交互方法，其特征在于：

将强化学习环境对应的所有可能结构映射为状态表示后与强化学习代理进行交互；或

将强化学习环境对应的所有可能结构进行量子态编码，并映射为状态表示后与强化学习代理进行交互，

其中，所述强化学习环境由权利要求1-11任一项所述的模拟晶体结构相变过程的强化学习环境搭建方法搭建得到。

13.根据权利要求12所述的方法，其特征在于：

其中，所述量子态编码包括：

将每种可能结构的高维数据归一化后得到归一化向量；

将所述归一化向量处理得到量子态右矢；

将所述量子态右矢共轭转置得到对应的量子态左矢；

将所述量子态右矢与所述量子态左矢做外积，即得所述量子态编码后得到的结构密度矩阵。