[发明专利]一种基于多模态知识图谱的急救知识问答方法及系统

权利要求书

1.一种基于多模态知识图谱的急救知识问答方法，其特征在于，包括：

基于互联网获取急救相关知识，并根据所述急救相关知识构建多模态急救知识图谱；所述急救相关知识包括紧急疾病、急救药品、急救方法、急救设备以及急救设备的使用方法；所述急救相关知识的形式包括文本、语音、图片和视频；

获取用户输入的问句，利用实体关系联合抽取模型抽取所述问句中的实体和关系；

根据所述问句中的实体定位所述多模态急救知识图谱中的实体，确定匹配实体；所述匹配实体为所述多模态急救知识图谱中与所述问句中的实体相匹配的实体；

利用深度学习模型计算所述问句中的关系与所有所述匹配实体的关系的相似度；

根据所述相似度，确定所述问句的答案；

根据用户所选择的目标语种，将所述答案输入机器翻译模型，输出翻译后的答案。

2.根据权利要求1所述的基于多模态知识图谱的急救知识问答方法，其特征在于，所述基于互联网获取急救相关知识，根据所述急救相关知识构建多模态急救知识图谱，具体包括：

基于互联网获取文本形式的急救知识，构建传统急救知识图谱；

基于互联网获取语音形式急救知识、图像形式急救知识以及视频形式急救知识；

将所述语音形式急救知识、所述图像形式急救知识以及所述视频形式急救知识融入所述传统急救知识图谱，得到多模态急救知识图谱。

3.根据权利要求2所述的基于多模态知识图谱的急救知识问答方法，其特征在于，所述将所述语音形式急救知识、所述图像形式急救知识以及所述视频形式急救知识融入所述传统急救知识图谱，得到多模态急救知识图谱，具体包括：

将所述语音形式急救知识中的语音信息转化为文本信息；

对所述文本信息进行联合抽取，得到所述语音形式急救知识的实体和文本；

将所述语音形式急救知识的实体和文本融入到所述传统急救知识图谱，得到包含有语音急救知识的急救知识图谱；

对所述图像形式急救知识中的图像信息进行标注，得到图像标注结果；所述图像标注结果包括图像中的物体属性以及物体之间的关系；

将所述图像标注结果融入到所述包含有语音急救知识的急救知识图谱，得到包含有语音急救知识以及图像急救知识的急救知识图谱；

对所述视频形式急救知识中的图像信息进行标注，得到视频标注结果；所述视频标注结果包括急救技能名称；

将所述视频标注结果融入到所述包含有语音急救知识以及图像急救知识的急救知识图谱，得到所述多模态急救知识图谱。

4.根据权利要求1所述的基于多模态知识图谱的急救知识问答方法，其特征在于，所述根据所述相似度，确定所述问句的答案，具体包括：

选取所述相似度中相似度最高的关系；

将与所述相似度最高的关系对应的匹配实体作为所述问句的答案。

5.一种基于多模态知识图谱的急救知识问答系统，其特征在于，包括：

多模态急救知识图谱构建模块，用于基于互联网获取急救相关知识，并根据所述急救相关知识构建多模态急救知识图谱；所述急救相关知识包括紧急疾病、急救药品、急救方法、急救设备以及急救设备的使用方法；所述急救相关知识的形式包括文本、语音、图片和视频；

实体关系抽取模块，用于获取用户输入的问句，利用实体关系联合抽取模型抽取所述问句中的实体和关系；

匹配模块，用于根据所述问句中的实体定位所述多模态急救知识图谱中的实体，确定匹配实体；所述匹配实体为所述多模态急救知识图谱中与所述问句中的实体相匹配的实体；

相似度计算模块，用于利用深度学习模型计算所述问句中的关系与所有所述匹配实体的关系的相似度；

答案确定模块，用于根据所述相似度，确定所述问句的答案；

翻译模块，用于根据用户所选择的目标语种，将所述答案输入机器翻译模型，输出翻译后的答案。