[发明专利]一种基于内容的电影可视化处理方法及其系统

说明书

本发明实施例公开了一种基于内容的电影可视化处理方法及其系统，其中，该方法包括：提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。在本发明实施例中，通过视频语义分割和情节概括，多角度、集中地呈现电影内容和整体结构，用户交互友好，有效帮助用户快速抓住电影重要情节，理解电影风格、主题，提高用户筛选电影的效率和使用体验感。

技术领域

本发明涉及数据挖掘、信息可视化技术领域，尤其涉及一种基于内容的电影可视化处理方法及其系统。

背景技术

近年来，随着多媒体技术和互联网技术的迅速发展，电影产量一直保持着快速增长态势，各类电影资源极大丰富。用户要在庞大数量的电影中选出自己喜欢的电影，只能通过文字剧情介绍，电影的海报等进行了解。但是，简单的文字剧情介绍或者海报往往不能让用户对影片有一个整体全面的认识，用户还是不易筛选出自己喜欢的电影。

为了满足信息时代快速有效的获取或筛选信息的需求，越来越多的人开始关注信息可视化，并开始探索可视化在各个领域中的应用，各种创新型可视化案例纷纷涌现，数据信息可视化的理论研究和实践也趋于成熟，可视化已然成为各个领域处理数据信息的一种高效方法。在数据信息爆炸的信息时代中，随着网络技术和多媒体技术的高速发展，视频成为获取信息的重要来源，视频作为承载信息内容最丰富的一种媒介形式，相对于其他的媒介而言，视频传递的信息内容更为生动、直观和有效，因此，用户更加青睐于在视频中获取信息内容。

为了解决这个问题，需要从电影视频中挖掘能充分反映电影主题的信息，并生动形象展示给用户。但是，电影视频数据单元关系不明确，视频数据内容提取困难，存在语义鸿沟等问题，加大了挖掘电影有用信息的难度，使得用户了解电影内容、筛选电影的效率以及用户体验度大大降低。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于内容的电影可视化处理方法及其系统，通过视频语义分割和情节概括，多角度、集中地呈现电影内容和整体结构，提高用户筛选电影的效率和使用体验感。

为了解决上述问题，本发明提出了一种基于内容的电影可视化处理方法，所述方法包括：

提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；

根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；

根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。

优选地，所述提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息的步骤，包括：

根据用户在电影库检索的视频结果获取电影基本帧序列信息；

对所述电影基本帧序列信息提取对应的视频结构化信息，所述视频结构化信息包括帧率信息、关键帧信息、主题信息、人物信息以及各个信息对应的时间线信息；

根据用户在电影库检索的电影结果分离出电影的音频信息，对所述音频信息进行静音与噪音的过滤，对剩余音频信息进行分类处理，将音频信息分为：纯语音信息，背景音乐信息，其他环境信息；对于纯语音音频信息，根据时间线和视频中的人物信息识别其对应的说话人；对纯语音信息做文字转化处理，获取处理后的语音文本信息；

将所述视频结构化信息和语音文本信息组成音视频结构化内容信息。

优选地，所述根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节的步骤，包括：