[发明专利]一种辅助诊断模型的评测方法、装置及计算设备

说明书

本公开实施例提供了一种辅助诊断模型的评测方法、装置及计算设备，为不同的辅助诊断模型的预测效果的评估提供量化指标，方法包括：获取若干测试用例；其中，每一测试用例记录了若干疾病诊断关联信息，以及目标疾病名称；将若干测试用例输入辅助诊断模型，获取辅助诊断模型输出的预测疾病序列；每一预测疾病序列包括预设个数的按照预测概率由高至低排列的预测疾病名称；将预测疾病序列与目标疾病名称比较，确定第一评测指标和第二评测指标；第一评测指标根据预测疾病序列第一位的预测疾病名称命中目标疾病名称的次数确定；第二评测指标根据预测疾病序列前指定位数的预测疾病名称命中目标疾病名称的次数确定；输出第一评测指标和第二评测指标。

技术领域

本公开涉及人工智能领域，尤其涉及一种辅助诊断模型的评测方法、装置、可读存储介质及计算设备。

背景技术

目前基于医疗大数据与人工智能深度学习训练出来的疾病智能辅助诊断系统应运而生，目前的辅助诊断模型无论基于规则展示还是深度学习得到的结果均可给出疑似诊断，并依据疾病可能性给出预测结果，在一定程度上可以缓解医生的工作压力，可帮助医生更准确或更快速的对疾病进行诊断。

然而评测诊断模型的方法尚无统一标准，导致无法针对诊断模型进行有效地筛选和改进。

发明内容

为此，本公开提供了一种辅助诊断模型的评测方法、装置、可读存储介质及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本公开实施例的一个方面，提供了一种辅助诊断模型的评测方法，包括：

获取若干测试用例；其中，每一测试用例记录了若干疾病诊断关联信息，以及目标疾病名称；

将若干测试用例输入辅助诊断模型，获取辅助诊断模型输出的预测疾病序列；每一预测疾病序列包括预设个数的按照预测概率由高至低排列的预测疾病名称；

将预测疾病序列与目标疾病名称比较，确定第一评测指标和第二评测指标；第一评测指标根据预测疾病序列第一位的预测疾病名称命中目标疾病名称的次数确定；第二评测指标根据预测疾病序列前指定位数的预测疾病名称命中目标疾病名称的次数确定；

输出第一评测指标和第二评测指标。

可选地，还包括：

确定第三评测指标，第三评测指标根据预测疾病序列的预测疾病名称对应的典型症状不包含疾病诊断关联信息中的典型症状的次数确定；其中，预先为任一疾病名称设置对应的典型症状；

输出所述第三评测指标。

可选地，方法还包括：

根据预先设定的第一评测指标、第二评测指标和第三评测指标各自的权重，以及第一评测指标、第二评测指标和第三评测指标，确定辅助诊断模型的评测结果。

可选地，前指定位数，包括：

前三位，和/或，前五位。

根据本公开的又一方面，提供一种辅助诊断模型的评测装置，包括：

测试用例选取单元，用于获取若干测试用例；其中，每一测试用例记录了若干疾病诊断关联信息，以及目标疾病名称；

测试单元，用于将若干测试用例输入辅助诊断模型，获取辅助诊断模型输出的预测疾病序列；每一预测疾病序列包括预设个数的按照预测概率由高至低排列的预测疾病名称；

评测单元，用于将预测疾病序列与目标疾病名称比较，确定第一评测指标和第二评测指标；第一评测指标根据预测疾病序列第一位的预测疾病名称命中目标疾病名称的次数确定；第二评测指标根据预测疾病序列前指定位数的预测疾病名称命中目标疾病名称的次数确定；

评测结果输出单元，用于输出第一评测指标和所述第二评测指标。