[发明专利]麻醉数据处理方法、系统、介质、设备及信息处理终端

说明书

本发明属于麻醉数据处理技术领域，公开了一种麻醉数据处理方法、系统、介质、设备及信息处理终端，获取临床真实麻醉手术数据，构建离线临床麻醉数据集；数据筛选和清洗，将数据集划分为训练集和测试集；基于离线临床麻醉数据集的训练集，使用离线强化学习算法训练麻醉输注策略；在训练完成后，在测试集上进行测试；收集新的临床真实麻醉手术数据，加入离线临床麻醉数据集；迭代执行收集数据、模型训练和策略验证过程，直到测试结果符合人类专家水平。本发明使用离线强化学习方法建模，通过收集临床麻醉手术数据作为很大的经验池从中学习训练智能体；为Q函数网络添加正则项使得Q值的估计更加保守，避免分布偏移而导致的Q值过高估计的问题。

技术领域

本发明属于麻醉数据处理技术领域，尤其涉及一种麻醉数据处理方法、系统、介质、设备及信息处理终端。

背景技术

目前，全身麻醉(全麻)指在手术中通过各种麻醉药的使用，对患者身体所有机能暂时抑制，使患者神志消失(镇静)、痛觉消失(镇痛)、肌肉松弛(肌松)；而麻醉药是指所有麻醉用药的统称，并非单一的一种药，基本以镇静药、镇痛药、肌松药为三大主药。其次，全麻在整个手术过程分为三个阶段，而三个阶段的麻醉用药，也是不同的：1.麻醉诱导期：麻醉医生会在术前充分掌握患者的身高体重、基本病史等个人情况，计算出麻醉诱导药的剂量，比如：依托咪酯(镇静药)0.3mg/kg；舒芬太尼(镇痛药)0.5μg/kg；维库溴铵(肌松药)0.1mg/kg等，给药后数分钟，患者基本达到神志消失、痛觉消失、肌肉松弛的状态，随着气管插管、麻醉参数调整等操作后，麻醉医生会指示外科医生，手术可以开始。2.麻醉维持期：在诱导期仅给予能使手术进行的麻醉药剂量，而由于手术种类、难度等综合因素导致手术情况无法准确预计，此剂量可能不足以维持整个手术过程，此时，就需要补充维持剂量，维持剂量一般使用注射泵泵注的剂量比较精确，比如：丙泊酚(镇静药)5mg/kg/h；瑞芬太尼(镇痛药)10μg/kg/h；顺苯(肌松药)0.12mg/kg/h等，使患者的生命体征(心率、血压、BIS等)基本保持稳定，手术才得以顺利进行。3.麻醉复苏期：当手术结束时，麻醉医生会尽量使各种麻醉药在同一时间失效(基本代谢完全)，而由于各种麻醉药在人体的持续作用时间是不同的，尤其是三大主药，比如：丙泊酚需15min左右，瑞芬太尼3min左右，顺苯30min左右，都需要麻醉医生根据手术进程提前停药，以达到手术结束的同时患者平稳苏醒。

而在一场涉及到麻醉的手术中，麻醉师不仅要对患者的麻醉状态负责，还要对他们的生理稳定性和氧气输送负责。麻醉医师风险高强度大加之人手短缺需要普遍加班，对麻醉医师心理和身体都造成的巨大负担，也严重影响了医疗质量和效率。亟需一种辅助麻醉医师工作的智能麻醉系统，降低麻醉医师工作量，减少因为疲劳等主观因素引起的麻醉医疗事故发生。

近年来，深度强化学习算法围棋、游戏、医疗等领域取得了影响深远的成功并广泛引起了人们的注意。强化学习是除开监督学习、无监督学习、半监督学习外的第四种学习范式，通过不断试错，并加以奖励引导的方法进行学习。强化学习一般包括两种重要的概念，即智能体模型和环境模型。智能体在环境模型中不断进行试错探索，获取环境反馈的状态以及认为设计的奖励，以调整调整行动策略获得最大的累积奖励。

使用深度强化学习解决医疗中的麻醉靶控输注问题鲜有人探索，其最大的原因是无法直接在人体上进行实验交互。近来也逐渐有文献探索通过建立数学模型模拟人体环境，以使得智能体从中学习。但由于模拟的环境与真实的人体环境相差甚远，因此，智能体学习到的行为策略性能有限。甚至可能因为分布偏移(domain shift)而使得学习到的行为策略完全不可用，这在真实环境中是危险的。

为了训练一个可以控制麻醉输注速率的智能体模型的前提是，存在一个具有反馈的环境模型。因为麻醉药的用量过多过少都会严重影响病人的生命体征信息，因此，直接基于人体环境训练智能体是不太现实。现在普遍采取的做法是建立一个数学模型，模拟人体内的药物转移与代谢情况。