[发明专利]一种草图数据重用与场景草图辅助构建方法及系统

权利要求书

1.一种草图数据重用与场景草图辅助构建方法，其特征在于，包括以下步骤：

对用户在已有场景草图中选择的草图素材进行提取并保存到数据库中，并对其中残缺的草图素材进行自动修复；

利用数据库中已有草图素材或者临时绘制草图，来构建场景草图或场景草图序列；

基于构建的场景草图进行图像检索，找到与场景草图最相似的图像；

基于构建的场景草图序列进行视频定位，找到与场景草图序列最相似的视频片段；进行视频定位的步骤包括：基于卷积神经网络提取场景草图视觉特征；基于光流法提取视频动作特征；基于C3D网络提取视频特征；根据所述场景草图视觉特征、视频动作特征和视频特征利用回归算法进行视频定位。

2.如权利要求1所述的方法，其特征在于，利用数据库中已有的草图素材通过拖拽、缩放和旋转中的一种或几种操作来构建场景草图。

3.如权利要求1所述的方法，其特征在于，图像检索方法为基于SceneSketcher方法并去掉该方法中类别敏感的交并比损失部分所得到的方法。

4.如权利要求1所述的方法，其特征在于，构建基于图像搜索方法的端对端的图像搜索模型，该图像搜索模型通过训练提高图像搜索精度和速度。

5.如权利要求1所述的方法，其特征在于，在基于构建的场景草图进行图像检索时，通过调整场景草图的姿态、大小、方向、位置中的一种或几种来找到与场景草图最相似的图像。

6.如权利要求1所述的方法，其特征在于，在基于构建的场景草图序列进行视频定位时，通过调整场景草图的姿态、大小、方向、位置中的一种或几种来找到与场景草图序列最相似的视频片段。

7.一种用于实现权利要求1-6任一项所述方法的草图数据重用与场景草图辅助构建系统，其特征在于，包括顶层的交互界面和底层的数据处理算法模块，该交互界面包括草图数据提取页面、场景草图构建与图像检索页面和基于场景草图的视频定位页面，以及用于切换页面的页面切换按钮；

草图数据提取页面包括：场景草图浏览面板和草图数据提取面板；

场景草图构建与图像检索页面包括：场景草图构建画布、场景草图编辑工具面板、草图素材浏览和选择面板和图像检索结果显示面板；

基于场景草图的视频定位页面包括：场景草图构建画布、场景草图编辑工具面板、草图素材浏览和选择面板、草图序列显示面板和视频定位结果显示面板；

其中，场景草图浏览面板用于显示当前场景草图，框选草图对象元素和切合场景草图；草图数据提取面板用于提取框选的草图对象，并对残缺的草图素材进行自动修复；场景草图构建画布用于支持对构建场景草图的拖动、缩放和旋转操作；场景草图编辑工具面板用于提供对草图元素进行绘制和编辑的工具；草图素材浏览和选择面板用于展示系统推荐的草图素材列表；图像检索结果显示面板用于展示图像检索结果；草图序列显示面板是用于显示草图序列；视频定位结果显示面板用于显示定位的视频片段；

数据处理算法模块用于实现上述交互界面中的所有交互和数据处理。

8.如权利要求7所述的系统，其特征在于，场景草图编辑工具面板提供画笔、橡皮擦、撤销、删除、清除和检索工具。

9.如权利要求7所述的系统，其特征在于，数据处理算法模块含有基于图像搜索方法的端对端的图像搜索模型，该图像搜索模型通过训练提高图像搜索精度和速度；该图像检索方法为基于SceneSketcher方法并去掉该方法中类别敏感的交并比损失部分所得到的方法。