[发明专利]一种基于音视频的图文资源管理系统

权利要求书

1.一种基于音视频的图文资源管理系统，其特征在于，包括：

音频提取模块,用以提取视频中的音频；

文字识别模块,用以识别图文文档中的文字；

操作模块,其包括显示单元、选取单元和输入单元，用以对所述管理系统反馈的页面进行操作；

中控模块，其分别与所述音频提取模块、所述文字识别模块和所述操作模块相连，用以对录入的图文文档与所述管理系统内视频进行聚类；

在使用基于音视频的图文资源管理系统时，首先对录入的视频文件和图文文档进行关键词提取，确定每个视频文件和每个图文文档的关键词；

当采用所述管理系统查阅任一视频时，所述中控模块调取该视频的关键词，并在系统内检索具有相同关键词的图文文档，中控模块根据相同关键词在视频与图文文档内出现的频率计算二者相关度，以判断图文文档是否为视频的相关文件；

在进行相关度计算时，所述中控模块根据视频与图文文档的输入时长间隔、关键词重合数量和图文文档的篇幅长度对计算过程进行修正，确保计算结果的准确性；

当向所述管理系统内录入视频a1时，所述音频提取模块提取视频a1中的音频并生成视频a1的音频参数组b1，音频提取模块将音频参数组b1传递至所述中控模块；所述中控模块对音频参数组b1进行分析，提取音频参数组b1中重复次数最多的词语B_1-1、B_1-2、B_1-3、B_1-4、B_1-5，其中，重复性词语B_1-1的重复率为C_1-1，重复性词语B_1-2的重复率为C_1-2，重复性词语B_1-3的重复率为C_1-3，重复性词语B_1-4的重复率为C_1-4，重复性词语B_1-5的重复率为C_1-5，C_1-1≥C_1-2≥C_1-3≥C_1-4≥C_1-5，所述中控模块对重复性词语B_1-1、B_1-2、B_1-3、B_1-4、B_1-5进行整合，生成视频a1的关键词组A1(B_1-1、B_1-2、B_1-3、B_1-4、B_1-5)；所述中控模块对所述管理系统内输入的所有视频进行上述关键词提取操作，生成关键词组矩阵A0，A0(A1,A2,A3…An)，其中，A2为视频a2的关键词组，A3为视频a3的关键词组；

当向所述管理系统内录入图文文档d1时，所述文字识别模块对文档d1中的文本进行转码识别生成文本e1，文字识别模块将生成的文本e1传递至所述中控模块，中控模块提取文本e1中重复次数最多的词语E_1-1、E_1-2、E_1-3、E_1-4、E_1-5，其中，重复性词语E_1-1的重复率为F_1-1，重复性词语E_1-2的重复率为F_1-2，重复性词语E_1-3的重复率为F_1-3，重复性词语E_1-4的重复率为F_1-4，重复性词语E_1-5的重复率为F_1-5，F_1-1≥F_1-2≥F_1-3≥F_1-4≥F_1-5，所述中控模块对重复性词语E_1-1、E_1-2、E_1-3、E_1-4、E_1-5进行整合，生成图文文档d1的关键词组D1(E_1-1、E_1-2、E_1-3、E_1-4、E_1-5)；所述中控模块对所述管理系统内输入的所有图文文档进行上述关键词提取操作，生成图文文档关键词组矩阵D0，D0(D1,D2,D3…Dm)，其中，D2为图文文档d2的关键词组，D3为图文文档d3的关键词组；

当采用所述管理系统查阅视频ai时，i=1,2,3…n，所述中控模块从所述关键词组矩阵A0中调取视频ai的关键词组Ai(B_i-1、B_i-2、B_i-3、B_i-4、B_i-5)，中控模块从图文文档关键词组矩阵D0中检索关键词组Ai中的关键词，当图文文档dj的关键词组Dj中存有不少于一项关键词组Ai内的重复性词语时，j=1,2,3…m，中控模块对图文文档dj进行分析，判断图文文档dj是否为视频ai的关联文档；

当所述中控模块判定图文文档dj为视频ai的关联文档时，中控模块将图文文档dj的链接投放到所述显示单元的相关推荐处；

当所述中控模块判定图文文档dj不为视频ai的关联文档时，中控模块不投放图文文档dj的链接；

当图文文档dj的关键词组Dj中存有一项关键词组Ai内的重复性词语时，所述中控模块计算图文文档dj与视频ai的相关度G1，

G1= F_j-k1×C_i-p1×M

其中，k1=1,2,3,4,5，p1=1,2,3,4,5，M为相关度计算补偿参数；

当图文文档dj的关键词组Dj中存有二项关键词组Ai内的重复性词语时，所述中控模块计算图文文档dj与视频ai的相关度G2，

G2=（F_j-k1×C_i-p1+ F_j-k2×C_i-p2）×M

其中，k2=1,2,3,4,5，p2=1,2,3,4,5；

当图文文档dj的关键词组Dj中存有三项关键词组Ai内的重复性词语时，所述中控模块计算图文文档dj与视频ai的相关度G3，

G3=（F_j-k1×C_i-p1+ F_j-k2×C_i-p2+ F_j-k3×C_i-p3）×M

其中，k3=1,2,3,4,5，p3=1,2,3,4,5；

当图文文档dj的关键词组Dj中存有四项关键词组Ai内的重复性词语时，所述中控模块计算图文文档dj与视频ai的相关度G4，

G4=（F_j-k1×C_i-p1+ F_j-k2×C_i-p2+ F_j-k3×C_i-p3+ F_j-k4×C_i-p4）×M

其中，k4=1,2,3,4,5，p4=1,2,3,4,5；

当图文文档dj的关键词组Dj中存有五项关键词组Ai内的重复性词语时，所述中控模块计算图文文档dj与视频ai的相关度G5，

G5=（F_j-k1×C_i-p1+ F_j-k2×C_i-p2+ F_j-k3×C_i-p3+ F_j-k4×C_i-p4+ F_j-k5×C_i-p5）×M

其中，k5=1,2,3,4,5，p5=1,2,3,4,5。