[发明专利]一种基于强化学习的肿瘤治疗辅助决策方法

说明书

本发明提出了一种基于强化学习的肿瘤治疗辅助决策方法，所述方法构建并训练患者状态转移模型与治疗决策模型，所述患者状态转移模型通过循环神经网络对肿瘤患者的状态变化进行建模，利用实际诊疗中获取到的诊疗方案与检查指标作为数据来源，模拟肿瘤患者在某种诊疗方案下的状态变化；所述治疗决策模型通过强化学习对治疗肿瘤患者的过程进行建模，利用患者状态转移模型作为数据来源，构建深层Q网络(DQN)作为策略网络，以RECIST实体瘤疗效评价标准与TNM肿瘤影像学分期标准为基础构造激励函数，进行迭代训练。本发明可在一定程度上减轻肿瘤专科医生的工作量，模型所预测的治疗手段可作为决策参考而减少医生的决策失误，辅助医生指定可行的治疗方案。

技术领域

本发明属于医疗领域，涉及一种医疗用计算机辅助决策方法，尤其涉及一种基于强化学习的肿瘤治疗的辅助决策方法。

背景技术

强化学习是机器学习的一个重要分支，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。其基本原理是：如果智能体的某个行为策略导致环境正的奖励信号，那么智能体以后产生这个行为策略的趋势便会加强。智能体的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。比如围棋的局面是状态，智能体要学习的就是每一种局面应该如何落子。

肿瘤是机体在各种致癌因素作用下，局部组织的某一个细胞在基因水平上失去对其生长的正常调控，导致其克隆性异常增生而形成的新生物。肿瘤分为良性肿瘤和恶性肿瘤，良性肿瘤对机体的影响较小，主要表现为局部压迫和阻塞症状，其影响主要与发生部位和后续变化有关；恶性肿瘤由于分化不成熟、生长较快，浸润破坏器官的结构和功能，并可发生转移，因而对机体影响严重。

对于肿瘤的治疗与患者的生命安全息息相关，而对肿瘤治疗做出决策的肿瘤专科医生工作繁重、压力巨大，对于病情容易误判或漏判，从而做出不适当的治疗决策。

发明内容

为克服现存的肿瘤治疗手段决策过程中存在的肿瘤专科医生工作量大，易做出不适当决策的缺陷，本发明公开了一种基于强化学习的肿瘤治疗辅助决策方法。

本发明所述基于强化学习的肿瘤治疗辅助决策方法，包括通过循环神经网络训练得到患者状态转移模型，并将所述患者状态转移模型作为强化学习的环境，训练得到治疗决策模型。由于强化学习的训练过程中做出的决策并不都是正确的，不可能为了获取错误决策下患者的反应而事实上对患者进行决策所对应的治疗，因此需要一个模型来模拟患者在不同状态下经受不同治疗手段后状态的变化，即本发明所述患者状态转移模型。治疗决策模型以前者为基础，模拟推断诊疗方案对患者的效果，从而找到理论最佳的诊疗方案。

本发明采用以下技术方案：

一种基于强化学习的肿瘤治疗辅助决策方法，其特征在于，包括如下步骤：

S1：将患者历史诊疗信息输入循环神经网络RNN，训练得到患者状态转移模型；

S2：将患者状态转移模型作为强化学习的环境，通过强化学习训练得到治疗决策模型；

S3：通过治疗决策模型输出预测的治疗方案。

所述步骤S1中的患者历史诊疗信息包括患者基础信息和治疗方案。

所述步骤S1中，将患者历史诊疗信息输入循环神经网络RNN，训练得到患者状态转移模型包括如下步骤：

S11：初始化患者状态向量h₀，计算公式如下：

h₀＝σ_h(Aκ+b₀)

其中，σ_h是激活函数；A是线性空间变换矩阵；κ是患者基础信息向量；b₀是偏移向量；

S12：求出时间步i的输入向量xi，计算公式如下：