[发明专利]一种基于多模态线索融合的远程会诊会话理解与摘要方法

摘要

方法申请(专利)号CN201711178650.5

主权项

一种基于多模态线索融合的远程会诊会话理解与摘要方法，其特征在于：包括如下步骤：步骤1：建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；专家、医生和患者分别在远程视频会议系统中注册身份信息和语音信息；所述语音信息为声纹信息；步骤2：在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；步骤3：远程视频会议系统记录医生、专家和病人之间的多人会话，并将多人会话传输给中心服务器，中心服务器通过语音识别模块将多人会话转变成文本形式，生成多人会话文本；语音识别模块根据会话人的语音信息来识别其身份信息，并在多人会话文本中以话轮为单位标记相应的会话人的身份信息；语音识别模块识别话语的语调和重音的程度，并基于韵律结构为文本标记相应的语调和重音程度值；所述多人会话包括音频和视频信息；步骤4：会话结构分析模块对多人会话文本进行分析，包括如下步骤：步骤A：定义多人会话文本包括医生邀请患者和专家参与记录、医生向专家汇报病情记录、专家向患者确认病情记录、专家向患者或医生询问病史记录和专家与医生协商给出诊断方案以及治疗建议记录；步骤B：根据说话人角色转换、问答语言形式及主题对会话文本进行语段划分；步骤C：根据各段会话的权势地位关系确定会话的主导者和逻辑线索；步骤5：摘要提取模块根据从汇报病情、确认病情和询问病史的话段中提取信息生成病情记录，包括如下步骤：步骤D：对病情的描述主要见于医生的病情汇报以及专家和患者问答的陈述性信息，需要抽取的文本实体包括隐私信息、治疗经过、治疗类实体和时间信息；步骤E：根据医疗领域命名实体和实体关系知识库将医生、患者、专家描述所用不同语言表述映射到知识图谱的概念结构图中，从而去除冗余信息，合并概念相同的关键信息；步骤F：根据每一韵律结构单位的语调和重音程度值来辅助关键信息的判断：预设一个重音程度值的阈值，当重音程度值大于阈值时，标记该结构为关键信息；步骤G：将关键信息与症状构成模式的词典库进行对比，生成症状记录文本；步骤6：摘要提取模块根据协商诊断方案和治疗建议话段的信息生成诊断摘要，包括如下步骤：步骤H：分析诊断过程，根据语法分析来判断医生或专家对应的会话文本的语言形式，并通过语言形式来分析辨识医生或专家的推断过程和肯定程度，以句子为单位将话语功能分为前提假设、证据、推理以及结论，并以一致性结论组织诊断结果记录；步骤I：最终的结论可以和事理图谱中推理诊断结果相比较，以交叉验证，提升置信度；步骤7：未登录术语核对模块为医生或专家设置核对窗口，医生或专家通过核对窗口对病情记录和诊断摘要中出现的未登录术语进行核对和确认；步骤8：存储库模块将步骤7中核对和确认的未登录术语进行存储，更新知识图谱；病情事件与诊断结果之间的事理联系添加到事理图谱中以用于后续的推理和判断。