[发明专利]基于强化学习的高剂量率近距离放射治疗剂量优化算法

权利要求书

1.基于强化学习的高剂量率近距离放射治疗剂量优化算法，其特征在于，采用结合生物等效均匀剂量EUD和物理剂量约束的目标函数模型以及基于PPO算法的剂量优化网络实现：所述结合生物等效均匀剂量EUD和物理剂量约束的混合目标函数的数学模型为：

min F_hyb＝α·F_CTV+β·F_OAR+λF_time

上式为目标函数的总体表达式，F_CTV是针对靶区的目标函数项，F_OAR是针对危及器官的目标函数项，F_time是针对驻留时间梯度的目标函数项，α、β、λ分别是各自对应的权重；

F_CTV的计算表达式中，w_i是对靶区内每个剂量计算点的惩罚值，N_T是靶区内剂量计算点的总数；

上式为靶区剂量计算点惩罚值的计算表达式，d_ij为第j个驻留点对第i个剂量计算点的剂量率，为驻留时间，D_min、D_max分别为对靶区剂量限制的最小值和最大值，M_min、M_max分别为权重因子；

F_OAR的计算表达式中，为第i个危及器官的处方EUD值，EUDⁱ为第i个危及器官的实际EUD值，N_s,i为第i个危及器官的剂量计算点总数，为权重因子；

EUD的计算表达式中，D_i为第i个EUD计算点的剂量，N_k为EUD计算点的总数，σ为生物特性参数；

F_time的计算表达式中，t_m,n为第m个驻留通道上第n个驻留点的驻留时间，N(m)为第m个驻留通道的驻留点总数，N_c为驻留通道总数，N_p为驻留点总数，t_k为第k个驻留点的驻留时间；

所述基于PPO算法的剂量优化网络包括状态空间s、动作空间a和奖励r；其中，以每个驻留位置的驻留时间作为状态空间，利用数组的形式对其进行存储；动作空间为对各驻留时间的调整动作；奖励以优化目标函数作为评价指标，当目标函数值减小则给予正奖励，当目标函数值增大则给予负奖励，目标函数值不变则不给予奖励，奖励r的表达形式如下：

式中，F_hyb(s_t)是状态s_t下的目标函数；为保证优化开始前初始时间t₀的设置尽可能接近最终的优化结果，提出如下时间初始化方案：

式中，d_i,j是第j个驻留点对第i个剂量计算点的剂量率；N_p是驻留点总数；N是剂量计算点的总数；D_min是对靶区剂量限制的最小值，τ是一个放缩因子。