[发明专利]麻醉数据处理方法、系统、介质、设备及信息处理终端

权利要求书

1.一种麻醉数据处理方法，其特征在于，所述麻醉数据处理方法包括：通过收集大量临床麻醉手术数据作为经验池，为Q函数估计添加正则项；使用深度离线强化学习算法学习智能麻醉靶控输注策略，实现麻醉数据处理。

2.如权利要求1所述的麻醉数据处理方法，其特征在于，所述麻醉数据处理方法包括以下步骤：

步骤一，获取临床真实麻醉手术数据，构建离线临床麻醉数据集；数据筛选和数据清洗，并将数据集划分为训练集和测试集；

步骤二，基于离线临床麻醉数据集的训练集，使用离线强化学习算法训练麻醉输注策略；

步骤三，在训练完成后，在测试集上进行测试；收集新的临床真实麻醉手术数据，加入离线临床麻醉数据集；

步骤四，迭代执行收集数据、模型训练和策略验证过程，直到测试结果符合人类专家水平。

3.如权利要求2所述的麻醉数据处理方法，其特征在于，所述步骤一中的临床真实麻醉手术数据包括各个时刻的观测状态、动作和奖励信息，所述观测状态包括患者生命体征，所述动作包括麻醉用药量。

4.如权利要求2所述的麻醉数据处理方法，其特征在于，所述步骤一中的离线临床麻醉数据集的构建包括：

(1)观测状态：包括性别、年龄、身高、体重、血型、ASA手术分级、前一时刻平均动脉压、目标平均动脉压、平均动脉压误差、平均动脉压变化以及当前时刻平均动脉压；

(2)动作：每一时刻麻醉的用药量，用药信息为丙泊酚注射液50mL：500mg，其中每一时刻的间隔为一分钟；

(3)奖励信息：奖励函数设计如下：

奖励函数的第一项为偏置项，使得奖励函数分布偏移到[-0.5,0.5]，第二项为绝对目标误差，第三项为药物剂量惩罚，第四项为过度药量惩罚；其中，为第k+1时刻的平均动脉压误差，a_k是第k时刻用药剂量，p_1是用药剂量惩罚权重，p_2是过度用药剂量惩罚。

5.如权利要求4所述的麻醉数据处理方法，其特征在于，所述步骤(1)中的观测状态的个别项解释如下：

目标动脉压是医生期望手术期间维持的平均动脉压；

平均动脉压误差＝当前时刻动脉压误差-目标动脉压误差；

平均动脉压变化＝当前时刻动脉压误差-前一时刻动脉压误差。

6.如权利要求2所述的麻醉数据处理方法，其特征在于，所述步骤二中的离线强化学习包括：

(1)从离线临床麻醉数据集中采样一批样本对，每个样本对包括当前时刻环境状态、当前时刻动作、下一时刻环境状态和奖励信息；所述当前时刻动作是指智能体预测的麻醉用药剂量；

(2)使用时序差分方法训练Q函数网络，使用AdamW优化器训练Q函数网络；其中，目标函数为：

目标函数包括两部分，后一项是使用时序差分方法估计状态-动作价值函数；前一项是用于增加Q估计值和真实值之间的距离；其中，\alpha是正则化权重，s是观测状态，D是离线数据集，a是动作，Q是Q函数网络，Q_hat是目标Q函数网络；\pi表示策略网络；

(3)使用指数移动平均方法分别更新目标特征网络和目标Q函数网络；

(4)重复步骤(1)～步骤(3)，直到算法收敛或达到给定训练次数；

(5)输出策略网络作为智能麻醉输注策略。

7.一种应用如权利要求1～6任意一项所述的麻醉数据处理方法的麻醉数据处理系统，其特征在于，所述麻醉数据处理系统包括：

数据获取模块，用于获取临床真实麻醉手术数据，构建离线临床麻醉数据集；进行数据筛选和数据清洗，并将数据集划分为训练集和测试集；

训练模块，用于基于离线临床麻醉数据集的训练集，使用离线强化学习算法训练麻醉输注策略；

测试模块，用于在训练完成后，在测试集上进行测试；收集新的临床真实麻醉手术数据，加入离线临床麻醉数据集；

迭代模块，用于迭代执行收集数据、模型训练和策略验证过程，直到测试结果符合人类专家水平。