[发明专利]可横向扩展的数据防泄漏系统

权利要求书

1.一种可横向扩展的数据防泄漏系统，其特征在于，基于面向服务的架构SOA搭建，包括：

文件识别模块，所述文件识别模块用于接收待处理文件并识别所述待处理文件的类型；

文件处理模块，所述文件处理模块至少包括图像文本处理单元、音频转文本处理单元以及视频转文本处理单元；所述图像文本处理单元用于识别图像中的文字并生成图像识别文本，所述音频转文本处理单元用于根据音频中的语音信息生成音频识别文本，所述视频转文本处理单元用于根据视频文件生成视频文本；所述图像文本处理单元以及所述音频转文本处理单元的数量大于或者等于2；

文件调度模块，所述文件调度模块包括文件加工单元和文件调度单元；所述文件加工单元用于将所述待处理文件进行格式类型转换、文件拆分以及合并；所述文件调度单元用于确定所述待处理文件的优先级等级以及识别所述文件处理模块中各处理单元的工作状态，并根据所述待处理文件的类型、优先级等级以及所述文件处理模块中各处理单元的工作状态，将所述文件加工单元处理后的待处理文件发送至所述文件处理模块中的至少一个处理单元；

所述文件识别模块识别待处理文件的类型为视频，所述文件调度单元确定所述待处理文件的优先级等级大于目标阈值，所述文件调度单元还用于在确定所述视频转文本处理单元的工作状态为非占用状态的情况下，将所述待处理文件直接发送至所述视频转文本处理单元，所述视频转文本处理单元对所述待处理文件进行视频文本生成；

所述文件调度单元还用于在确定所述视频转文本处理单元的工作状态为占用状态的情况下，确定各图像文本处理单元和各音频转文本处理单元的工作状态，并基于各图像文本处理单元和各音频转文本处理单元的工作状态确定所述待处理文件的处理单元；

所述待处理文件为视频文件，所述视频文件的优先级等级大于目标阈值，所述文件调度单元还用于在确定所述视频转文本处理单元的工作状态为占用状态的情况下，确定工作状态为非占用的图像文本处理单元的第一数量，以及工作状态为非占用状态的音频转文本处理单元的第二数量；

所述文件加工单元用于将所述视频文件进行格式类型转换得到第一图像帧集合和第一音频文件，所述文件加工单元还用于将所述第一图像帧集合分割为所述第一数量的第一图像帧子集合，并将所述第一音频文件分割为所述第二数量的第一音频子段；

所述文件调度单元用于将所述第一数量的第一图像帧子集合分别发送至各图像文本处理单元进行图像文本识别以得到所述第一数量的第一子文本，并将所述第二数量的第一音频子段发送至所述音频转文本处理单元以得到所述第二数量的第二子文本；

所述文件加工单元用于将所述第一数量的第一子文本按照时间顺序拼接为第一文本，并将所述第二数量的第二子文本按照时间顺序拼接为第二文本；

所述系统还包括文本相似度计算模块，所述文本相似度计算模块用于计算所述第一文本与所述第二文本之间的目标相似度；

所述文件加工单元还用于在所述目标相似度大于第一相似度的情况下，将所述第二文本确定为所述视频文件的视频文本；

所述文件加工单元还用于在所述目标相似度小于第二相似度的情况下，将所述第一文本和所述第二文本均确定为所述视频文件的视频文本；

所述文本相似度计算模块还用于分别对所述第一文本和所述第二文本采用相同尺度的文本切分粒度，以得到所述第一文本和所述第二文本的特征向量，并根据相似度计算方法计算所述第一文本和所述第二文本的特征向量之间的相似度分数以得到所述目标相似度。

2.根据权利要求1所述的可横向扩展的数据防泄漏系统，其特征在于，视频转文本处理单元用于将接收到的视频文件转换成视频文本，所述视频文本包括语句、各语句对应的时间戳以及各语句的来源，所述语句为基于对所述视频文件的视频图像帧进行文本识别以及对所述视频文件的音频数据进行音频转文字确定的。

3.根据权利要求1或2所述的可横向扩展的数据防泄漏系统，其特征在于，所述文件调度单元还用于获取所述待处理文件对应的数据包，并从所述数据包中提取所述待处理文件的优先级标签数据，确定所述待处理文件的优先级等级。