[发明专利]一种多媒体数据的处理方法及装置

权利要求书

1.一种多媒体数据的处理方法，其特征在于，包括：

获取所述多媒体数据中的视频关键帧；

根据所述视频关键帧确定字幕属性，其中，所述字幕属性包括所述多媒体数据中字幕的垂直位置和所述字幕中单个字符的宽度；

根据所述字幕属性对所述多媒体数据中各视频帧进行字幕识别，获得所述各视频帧的字幕识别结果，其中，所述各视频帧包括所述视频关键帧；

根据所述各视频帧的字幕识别结果和所述各视频帧对应的音频帧，判断所述多媒体数据中音视频是否同步。

2.根据权利要求1所述的方法，其特征在于，

根据所述视频关键帧确定字幕属性，包括：

对所述视频关键帧中预设区域进行检测，确定所述视频关键帧的水平边缘图和垂直边缘图；

根据所述水平边缘图和垂直边缘图，确定所述视频关键帧的二值化图像；

根据所述二值化图像确定所述字幕属性。

3.根据权利要求2所述的方法，其特征在于，

所述根据所述二值化图像确定所述字幕属性，包括：

将所述二值化图像进行水平方向投影，确定像素值峰值的出现位置在所述二值化图像上的垂直坐标；

根据所述像素值峰值的出现位置在所述二值化图像上的垂直坐标，确定所述字幕的垂直位置。

4.根据权利要求2所述的方法，其特征在于，

所述根据所述二值化图像确定所述字幕属性，包括：

将所述二值化图像进行垂直方向投影，将像素值低于预设像素值的相邻区域确定为字符所在区域；

根据所述字符所在区域的宽度确定所述单个字符的宽度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，

根据所述字幕属性对所述多媒体数据中各视频帧进行字幕识别，获得所述各视频帧的字幕识别结果，包括：

根据所述单个字符的宽度确定字符滑动窗口的预设宽度；

基于所述字幕的垂直位置，将预设宽度的所述字符滑动窗口在所述各视频帧上逐渐进行滑动，确定所述各视频帧上的各字符；

将所述各字符进行识别，获得所述各视频帧的字幕识别结果。

6.一种多媒体数据的处理装置，其特征在于，包括：

获取模块，用于获取所述多媒体数据中的视频关键帧；

确定模块，用于根据所述视频关键帧确定字幕属性，其中，所述字幕属性包括所述多媒体数据中字幕的垂直位置和所述字幕中单个字符的宽度；

识别模块，用于根据所述字幕属性对所述多媒体数据中各视频帧进行字幕识别，获得所述各视频帧的字幕识别结果，其中，所述各视频帧包括所述视频关键帧；

判断模块，用于根据所述各视频帧的字幕识别结果和所述各视频帧对应的音频帧，判断所述多媒体数据中音视频是否同步。

7.根据权利要求6所述的装置，其特征在于，

所述确定模块包括：

第一确定子模块，用于对所述视频关键帧中预设区域进行检测，确定所述视频关键帧的水平边缘图和垂直边缘图；

第二确定子模块，用于根据所述水平边缘图和垂直边缘图，确定所述视频关键帧的二值化图像；

第三确定子模块，用于根据所述二值化图像确定所述字幕属性。

8.根据权利要求7所述的装置，其特征在于，

所述确定模块包括：

第四确定子模块，用于将所述二值化图像进行水平方向投影，确定像素值峰值的出现位置在所述二值化图像上的垂直坐标；

第五确定子模块，用于根据所述像素值峰值的出现位置在所述二值化图像上的垂直坐标，确定所述字幕的垂直位置。

9.根据权利要求7所述的装置，其特征在于，

所述第三确定子模块包括：

第一确定单元，用于将所述二值化图像进行垂直方向投影，将像素值低于预设像素值的相邻区域确定为字符所在区域；

第二确定单元，用于根据所述字符所在区域的宽度确定所述单个字符的宽度。

10.根据权利要求6至9中任一项所述的装置，其特征在于，

所述识别模块包括：

第六确定子模块，用于根据所述单个字符的宽度确定字符滑动窗口的预设宽度；

滑动子模块，用于基于所述字幕的垂直位置，将预设宽度的所述字符滑动窗口在所述各视频帧上逐渐进行滑动，确定所述各视频帧上的各字符；

识别子模块，用于将所述各字符进行识别，获得所述各视频帧的字幕识别结果。