[发明专利]可横向扩展的数据防泄漏系统

说明书

本发明提供一种可横向扩展的数据防泄漏系统，属于数据处理技术领域，所述系统包括文件识别模块、文件处理模块以及文件调度模块，文件调度模块包括文件加工单元和文件调度单元，文件处理模块包括视频转文本处理单元、图像文本处理单元以及音频转文本处理单元，本发明的可横向扩展的数据防泄漏系统，通过文件调度单元可以对各处理单元的状态进行监控并识别个待处理文件的优先等级，可以根据待处理文件的优先级来设置处理顺序，并可以在各处理单元为非占用状态的情况下，通过文件加工单元来对文件的形式或者格式进行转换，以便于尽可能调用处于非占用状态的处理单元来进行文件的文本转换处理，提高了在文件数据量大时的处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种可横向扩展的数据防泄漏系统。

背景技术

随着信息技术的飞速发展，计算机和网络已成为日常办公、通讯交流和协作互动的必备工具和途径。数据泄密防护（Data leakage prevention, DLP）是通过一定的技术手段，防止企业的指定数据或信息资产以违反安全策略规定的形式流出企业的一种策略。但是，信息系统在提高信息安全的同时，也对信息的处理效率提出了新的需求。

文本识别服务是DLP系统的核心服务之一，主要完成对各种文件内容的深度识别，内容包含文字、代码、数字、报表、图纸图片、音频和视频等。

相关技术中，大部分视频转文本服务基于开源框架或单应用框架实现，只能满足一般场景要求，但对于视频这一类大数据量、计算资源消耗大的场景，难以有效应对。

发明内容

本发明提供一种可横向扩展的数据防泄漏系统，用以解决现有技术中数据系统对视频文件的转文本处理效率低的缺陷，实现对视频文件转文本的高效处理。

本发明提供一种可横向扩展的数据防泄漏系统，基于面向服务的架构SOA搭建，包括：

文件识别模块，所述文件识别模块用于接收待处理文件并识别所述待处理文件的类型；

文件处理模块，所述文件处理模块至少包括图像文本处理单元、音频转文本处理单元以及视频转文本处理单元；所述图像文本处理单元用于识别图像中的文字并生成图像识别文本，所述音频转文本处理单元用于根据音频中的语音信息生成音频识别文本，所述视频转文本处理单元用于根据视频文件生成视频文本；所述图像文本处理单元以及所述音频转文本处理单元的数量大于或者等于2；

文件调度模块，所述文件调度模块包括文件加工单元和文件调度单元；所述文件加工单元用于将所述待处理文件进行格式类型转换、文件拆分以及合并；所述文件调度单元用于确定所述待处理文件的优先级等级以及识别所述文件处理模块中各处理单元的工作状态，并根据所述待处理文件的类型、优先级等级以及所述文件处理模块中各处理单元的工作状态，将所述文件加工单元处理后的待处理文件发送至所述文件处理模块中的至少一个处理单元。

根据本发明提供的一种可横向扩展的数据防泄漏系统，所述文件识别模块识别待处理文件的类型为视频，所述文件调度单元确定所述待处理文件的优先级等级大于目标阈值，所述文件调度单元还用于在确定所述视频转文本处理单元的工作状态为非占用状态的情况下，将所述待处理文件直接发送至所述视频转文本处理单元，所述视频转文本处理单元对所述待处理文件进行视频文本生成；

所述文件调度单元还用于在确定所述视频转文本处理单元的工作状态为占用状态的情况下，确定各图像文本处理单元和各音频转文本处理单元的工作状态，并基于各图像文本处理单元和各音频转文本处理单元的工作状态确定所述待处理文件的处理单元。

根据本发明提供的一种可横向扩展的数据防泄漏系统，视频转文本处理单元用于将接收到的视频文件转换成视频文本，所述视频文本包括语句、各语句对应的时间戳以及各语句的来源，所述语句为基于对所述视频文件的视频图像帧进行文本识别以及对所述视频文件的音频数据进行音频转文字确定的。