[发明专利]一种将音视频数据转化成文字记录的系统和方法

说明书

本发明涉及一种将音视频数据转化成文字记录的系统和方法，其中系统包括数据收集部分、数据识别部分以及数据组织部分；所述数据收集部分包括音频采集模块和视频采集模块；所述数据识别部分包括语音和声纹识别模块以及人脸和表情识别模块；所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签、当前说话者的情绪，生成文字记录。本发明更加细致完整地保存整个音视频数据过程，更贴近真实的情况；本发明将音视频数据转换为文本格式进行保存，大大降低了存储和传输的成本，也便于后续查看记录，可以更加快速地浏览和定位会议内容。

技术领域

本发明涉及一种数据处理技术，具体涉及一种将音视频数据转化成文字记录的系统和方法。

背景技术

在召开音视频会议时，为了记录会议内容，通常使用摄像头采集视频数据和麦克风采集音频数据或者仅使用麦克风采集音频数据，将音视频数据或音频数据保存成多媒体文件，存储到存储设备中；通过播放多媒体文件，可以观看或收听到会议内容。或者可以由专门的会议记录员通过计算机等输入设备或者手写方式进行笔录，记录下会议内容。

采用摄像头、麦克风等设备记录音视频数据的方式，需要将音视频文件存储到存储设备中，因此需要占用较大的存储空间，成本较高，并且后期是通过播放多媒体文件来查看会议内容，不能快速浏览和定位到具体的话题上，因此需要花费较多的时间，并且可能会出现内容的遗漏，导致效率低下。采用笔录的方式记录会议内容虽然有助于快速浏览和定位具体话题，但对记录员的要求较高，如果记录速度远低于会议中讨论的速度，就容易遗漏和出错，导致内容不够完整和细致，并且在后续查看记录无法还原当时的情景。

现有技术公开了一种汉语外语有声影像资料双向可逆语音转换并加注字幕的方法，通过识别有声影像资料，将其中的语音识别成文本，并将文本翻译成指定的外文，以字幕的形式叠加在画面上，与原来的语音一起存储或同步输出，从而使有声影像资料变成带有指定外文字幕的有声影像资料。但该方法只是简单地将语音识别成文本，并将文本翻译成指定外文后以字幕的形式在画面上同步显示，但没有根据说话者的不同而将字幕组织成更加贴近真实情况的内容。

发明内容

为了解决上述记录的会议内容不完整和细致，并且在后续查看记录无法还原当时的情景的技术问题，本发明提供了一种将音视频数据转化成文字记录的系统和方法，技术方案如下。

一种将音视频数据转化成文字记录的系统，包括数据收集部分、数据识别部分以及数据组织部分；

所述数据收集部分包括音频采集模块和视频采集模块；

所述音频采集模块用于捕获当前说话者的音频数据，并记录其说话的开始时间；

所述视频采集模块用于捕获当前说话者的图像，并记录其说话的开始时间；

所述数据识别部分包括语音和声纹识别模块以及人脸和表情识别模块；

所述语音和声纹识别模块对所述音频采集模块捕获的音频数据进行处理，将其转化成文本格式的文字信息，并对所述音频采集模块捕获的音频数据进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；

所述人脸和表情识别模块利用表情识别技术对所述视频采集模块捕获的图像进行处理，识别当前说话者的表情，获得该说话者的情绪，并对所述视频采集模块捕获的图像进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；

所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签以及当前说话者的情绪，生成文字记录。

进一步地，所述文字记录为对话形式的文字记录。

进一步地，所述系统还包括数据补充和修正部分，所述数据补充和修正部分用于对所述文字记录进行补充和修正。

进一步地，所述音频采集模块为麦克风，和/或，所述视频采集模块为摄像头。