[发明专利]通过手语交流的人工智能医务系统

权利要求书

1.一种通过手语交流的人工智能医务系统，其特征在于，包括通过网络连接的患者终端、卫生管理部门用终端和智能医盒；

所述患者终端包括视频获取模块和视频发送模块；

视频获取模块用于获取包含预设人物关节的手语视频并输出；

视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；

所述卫生管理部门用终端包括图像识别模块和控制模块；

图像识别模块包括：

视频接收单元，用于获取所述手语视频；

关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；

语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集，具体地，所述语义分割单元用于按照每帧关节分割图像的时间顺序顺次判断相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量是否超过形变阈值；当相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量超过形变阈值时，将该相邻两帧关节分割图像中的前一帧关节分割图像分入上一组语义帧图像集，后一帧关节分割图像分入下一组语义帧图像集，获得各组语义帧图像集；

语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像，具体地，所述语义合并单元用于将每组语义帧图像集中的第一帧关节分割图像按照时间顺序依次叠加其分别与之后每帧关节分割图像作差运算后获得的差图像，获得该组语义帧图像集的一个语义图像；

文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；

控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；

所述智能医盒用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。

2.根据权利要求1所述的系统，其特征在于，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，获得处理后的第一图像；

计算第一图像中每个像素点的梯度特征，计算公式为：

其中，为方向上相邻像素点的像素梯度均值，其计算公式为，为像素点的像素值；为方向上相邻像素点的像素梯度均值，其计算公式为；

判断像素点的梯度特征是否为其8领域内的最大值；

当像素点的梯度特征是其8领域内的最大值时，将该像素点作为边缘像素点，获得所有边缘像素点，将所有边缘像素点连接，获得第一图像中包含预设人物关节的轮廓，获得每帧关节分割图像。

3.根据权利要求2项所述的系统，其特征在于，所述患者终端还包括服药提醒模块；

服药提醒模块用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。

4.根据权利要求3所述的系统，其特征在于，所述服药提醒模块还用于同时生成并输出振动信号和/或光提示信号。

5.一种智能医盒，其特征在于，包括：控制装置、发光装置和视频播放装置；

控制装置用于获取如权利要求1-4任一项所述的通过手语交流的人工智能医务系统的卫生管理部门用终端输出的处方信息，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；在所述服药时间调取预设手语视频并输出，以及生成发光控制信号并输出，所述预设手语视频的内容包含服药药品名称及其对应的服药数量；

视频播放装置用于接收所述预设手语视频并播放，以提醒患者服药；

发光装置用于接收所述发光控制信号并在其控制下发光。

6.根据权利要求5所述的智能医盒，其特征在于，还包括：药品分配装置；

控制装置还用于根据所述处方信息在服药时间生成包含所需分配的服药药品名称及其对应的服药数量信息的分配控制信号并输出；

药品分配装置用于接收所述分配控制信号并在其控制下输出所需分配的服药药品名称对应的药品及服药数量。