[发明专利]一种基于内容的电影可视化处理方法及其系统

权利要求书

1.一种基于内容的电影可视化处理方法，其特征在于，所述方法包括：

提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；具体包括：根据用户在电影库检索的视频结果获取电影基本帧序列信息；对所述电影基本帧序列信息提取对应的视频结构化信息，所述视频结构化信息包括帧率信息、关键帧信息、主题信息、人物信息以及各个信息对应的时间线信息；根据用户在电影库检索的电影结果分离出电影的音频信息，对所述音频信息进行静音与噪音的过滤，对剩余音频信息进行分类处理，将音频信息分为：纯语音信息，背景音乐信息，其他环境信息；对于纯语音音频信息，根据时间线和视频中的人物信息识别其对应的说话人；对纯语音信息做文字转化处理，获取处理后的语音文本信息；将所述视频结构化信息和语音文本信息组成音视频结构化内容信息；

根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；所述将电影分割为内容独立的情节具体包括：根据所述语音文本信息进行去停词、提取主干处理，得到视频的词汇表，并根据所述词汇表以及词频构建视频特征向量；对所述视频结构化信息进行预划分处理，获得若干个长度相当的文本块，根据所述视频特征向量计算相邻文本块间的相似度；根据所述相邻文本块间的相似度比较相邻文本块的相似度差异，计算每个文本块代表该文本块可能成为语义边界的深度分数，搜索深度分数峰值，确定语义边界时间戳；根据边界时间戳将电影分割成语义独立的片段，每个片段对应电影一个情节；所述归纳电影情节信息具体包括：计算各个情节每个关键词的权值，提取各个情节关键词获取关键词信息；根据所述关键词的权值计算各个情节每个句子权值，提取各个情节关键句，获取关键词信息；根据所述各个情节关键句概括情节语义主题，归纳电影情节，获取情节主题信息；

根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面；具体包括：构建电影可视化框架；将所述电影的视频、电影语义边界，归纳的电影情节信息，以及对应的关键帧信息、关键词信息填入所述电影可视化框架；将已填入内容的电影可视化框架进行显示，生成可视化界面。

2.一种基于内容的电影可视化处理系统，其特征在于，所述系统包括：

信息提取模块，用于提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；具体包括：帧序列信息获取单元，用于根据用户在电影库检索的视频结果获取电影基本帧序列信息；结构化信息提取单元，用于对所述电影基本帧序列信息提取对应的视频结构化信息，所述视频结构化信息包括帧率信息、关键帧信息、主题信息、人物信息以及各个信息对应的时间线信息；音频信息处理单元，用于根据用户在电影库检索的电影结果分离出电影的音频信息，对所述音频信息进行静音与噪音的过滤，对剩余音频信息进行分类处理，将音频信息分为：纯语音信息，背景音乐信息，其他环境信息；对于纯语音音频信息，根据时间线和视频中的人物信息识别其对应的说话人；对纯语音信息做文字转化处理，获取处理后的语音文本信息；生成单元，用于将所述视频结构化信息和语音文本信息组成音视频结构化内容信息；

情节归纳模块，用于根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；具体包括：视频特征向量构建单元，用于根据所述语音文本信息进行去停词、提取主干处理，得到视频的词汇表，并根据所述词汇表以及词频构建视频特征向量；相似度计算单元，用于对所述视频结构化信息进行预划分处理，获得若干个长度相当的文本块，根据所述视频特征向量计算相邻文本块间的相似度；根据所述相邻文本块间的相似度比较相邻文本块的相似度差异，计算每个文本块代表该文本块可能成为语义边界的深度分数，搜索深度分数峰值，确定语义边界时间戳；情节分割单元，用于根据边界时间戳将电影分割成语义独立的片段，每个片段对应电影一个情节；权值计算单元，用于计算各个情节每个关键词的权值，提取各个情节关键词获取关键词信息；关键词获取单元，用于根据所述关键词的权值计算各个情节每个句子权值，提取各个情节关键句，获取关键词信息；归纳单元，用于根据所述各个情节关键句概括情节语义主题，归纳电影情节，获取情节主题信息；

界面生成模块，用于根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面；具体包括：构建单元，用于构建电影可视化框架；填入单元，用于将所述电影的视频、电影语义边界，归纳的电影情节信息，以及对应的关键帧信息、关键词信息填入所述电影可视化框架；显示单元，用于将已填入内容的电影可视化框架进行显示，生成可视化界面。