[发明专利]基于多模态智能审稿系统及方法

权利要求书

1.基于多模态智能审稿系统，其特征在于，包括：

分类单元，用于将待审核的投稿进行类型划分，划分的类型包括文字类、语音类、图像类和视频类；

切分单元，用于当划分的类型为视频类时，将投稿切分为影像文档和语音文档；

关键帧提取单元，用于按照预设的算法，对影像文档进行关键帧提取；

审核单元，审核单元内预存有文字审核模型、图像审核模型及语音审核模型，审核单元用于当投稿的类型为文字类、语音类或图片类时，调用对应的审核模型对其进行审核；审核单元还用于当投稿的类型为视频类时，调用语音审核模型对切分出来的语音文档进行审核，并调用图像审核模型对提取的关键帧进行审核；

报错单元，用于当审核单元的审核结果为审核未通过时，进行报错。

2.根据权利要求1所述的基于多模态智能审稿系统，其特征在于：关键帧提取单元提取关键帧的预设算法为：按时间顺序逐帧读取影像文档的视频帧，并对相邻帧进行关联性分析，若相邻帧的相对变化率小于等于预设关联值则判断为具有关联性，若相邻帧的相对变化率大于预设关联值则判断为不具有关联性；之后，将具有关联性的视频帧按照时间顺序划分为多个关联视频帧序列；并按照预设的抽帧法，从关联视频帧序列中抽取出关键帧。

3.根据权利要求2所述的基于多模态智能审稿系统，其特征在于：预设的抽帧法为：若关联帧视频序列长度小于第一预设长度，则随机抽取一帧视频帧作为关键帧；若关联帧视频序列长度大于第一预设长度且小于第二预设长度，则均匀的抽取X视频帧作为关键帧；若关联帧视频序列长度大于第二预设长度，则每隔Y视频帧抽取一视频帧作为关键帧。

4.根据权利要求1所述的基于多模态智能审稿系统，其特征在于：关键帧提取单元提取关键帧的预设算法为，按时间顺序逐帧读取影像文档的视频帧，并按照预设的抽帧频率抽取出视频帧作为关键帧。

5.根据权利要求4所述的基于多模态智能审稿系统，其特征在于：关键帧提取单元还用于设置抽帧频率。

6.根据权利要求1所述的基于多模态智能审稿系统，其特征在于：报错单元报错时，还展示需要整改的内容。

7.根据权利要求6所述的基于多模态智能审稿系统，其特征在于：报错单元报错时，还标注出需要整改内容的具体位置。

8.根据权利要求1所述的基于多模态智能审稿系统，其特征在于：图像审核模型为卷积神经网络模型。

9.根据权利要求1所述的基于多模态智能审稿系统，其特征在于：图像审核模型及文字审核模型分别为循环神经网络模型。

10.基于多模态智能审稿方法，其特征在于：使用上述权利要求1-9任一项的基于多模态智能审稿系统。