[发明专利]基于强化学习的高剂量率近距离放射治疗剂量优化算法

说明书

本发明公开一种基于强化学习的剂量优化算法，包括结合生物等效均匀剂量EUD和物理剂量约束的目标函数模型和基于PPO算法的剂量优化网络；利用目标函数模型对靶区进行物理剂量约束，对危及器官进行EUD约束，同时添加时间梯度限制；基于PPO算法的剂量优化网络以每个驻留位置的驻留时间作为状态空间；动作空间为对各驻留时间的调整动作；奖励函数以优化目标函数作为评价指标；同时建立时间初始化机制和先验知识引导的优化策略，以加速网络训练。应用本发明，在保证靶区剂量覆盖率的同时，可明显减少靶区的剂量热区，降低危及器官的剂量受量，提高剂量的均匀性和适形度，显著提升计划质量。

技术领域

本发明涉及放射治疗剂量优化技术领域，特别是涉及一种基于强化学习的高剂量率近距离放射治疗剂量优化算法。

背景技术

肿瘤是威胁人类生命健康和导致人类死亡的重大疾病之一，高剂量率近距离放射治疗是治疗肿瘤的一种重要手段。剂量规划技术是高剂量率近距离放射治疗的核心，对治疗效果起着决定性作用。剂量规划的目的是为放射源设置合理的驻留位置及对应的驻留时间，使肿瘤靶区受到足够的照射剂量，同时尽量减少周围正常组织和危及器官所受到的辐射，实现适形放疗。

剂量规划方法主要分为正向优化和逆向优化两种。正向优化是人为地设定放射源的驻留位置和驻留时间，使生成的剂量场符合临床治疗的要求。这种方法操作效率较低，且高度依赖医生的经验。逆向优化是通过将临床的剂量要求构造为目标函数，然后采用一定的优化算法对目标函数进行优化求解，以直接生成放射源最优的驻留位置及相应的驻留时间。这种方法无需临床医生进行手动调整，速度快、精度高、重复性好，降低了规划过程对于医生经验的要求，成为如今放射治疗领域的研究热点。

在当前提出的剂量优化算法中，几乎全都依靠物理剂量构造目标函数。其没有考虑剂量照射时产生的生物效应，同时也忽略了剂量不均匀性对治疗结果的影响，阻碍了优化质量的提高。同时，对于目标函数的优化求解，普遍基于和谐搜索算法、遗传算法、模拟退火算法和粒子群优化算法等传统算法建立，这些算法均属于基于概率的随机搜索算法，其全局最优解的搜索过程是随机、无方向的，且容易陷入局部最优解中，导致最终解不一定为可行解。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于强化学习的高剂量率近距离放射治疗剂量优化算法。

为实现本发明的目的所采用的技术方案是：

一种基于强化学习的高剂量率近距离放射治疗剂量优化算法，包括：

采用结合生物等效均匀剂量EUD和物理剂量约束的目标函数模型以及基于PPO算法的剂量优化网络实现：所述结合生物等效均匀剂量EUD和物理剂量约束的混合目标函数的数学模型为：

min F_hyb＝α·F_CTV+βF_OAR+λF_time

上式为目标函数的总体表达式，F_CTV是针对靶区的目标函数项，F_OAR是针对危及器官的目标函数项，F_time是针对驻留时间梯度的目标函数项，α、β、λ分别是各自对应的权重；

F_CTV的计算表达式中，w_i是对靶区内每个剂量计算点的惩罚值，N_T是靶区内剂量计算点的总数；

上式为靶区剂量计算点惩罚值的计算表达式，d_ij为第j个驻留点对第i个剂量计算点的剂量率，为驻留时间，D_min、D_max分别为对靶区剂量限制的最小值和最大值，M_min、M_max分别为权重因子；