[发明专利]一种改进的场景内容检测的方法和系统

说明书

本发明提供一种改进的场景内容检测的方法和系统，通过提取多媒体数据中的多种特征，将多种特征按不同维度输入神经网络模型，得到经过机器学习后的高维度向量矩阵，再经由状态链模型，得到显性特征分布区域，进而确定出需要的语义特征集合，最后确定出不同场景划分的分界线，实现精确地分段内容检测，并且减少了运算量。

技术领域

本申请涉及网络多媒体领域，尤其涉及一种改进的场景内容检测的方法和系统。

背景技术

现有网络中存在大量场景信息、非常丰富的视频数据，一段视频中常常剪辑有多个完全不同的场景，针对不同的场景调用不同的内容检测算法，会极大地增加运算量。即使能够划分出精确的场景分界线，其内容检测的运算量还是不小，给系统带来很大的负担。

因此，急需一种针对性的改进的场景内容检测的的方法和系统。在给出精确场景分界线的情况下，进一步改进内容检测算法。

发明内容

本发明的目的在于提供一种改进的场景内容检测的方法和系统，通过提取多媒体数据中的多种特征，将多种特征按不同维度输入神经网络模型，得到经过机器学习后的高维度向量矩阵，再经由状态链模型，得到显性特征分布区域，进而确定出需要的隐性特征分布区域的语义特征集合，最后确定出不同场景划分的分界线，实现精确地分段内容检测。

第一方面，本申请提供一种改进的场景内容检测的方法，所述方法包括：

接收采集终端发送的多媒体数据，从中提取出视觉特征、声音特征和文本特征，将所述视觉特征、声音特征和文本特征列入第一向量矩阵的三个维度，将所述第一向量矩阵送入神经网络模型的输入端；

其中，所述神经网络模型具有三个输入端，三个输入端分别接入对应的中间层，经过运算处理后，连接到三个缓冲区，其中一个中间层包括一个全态连接单元，所述全态连接单元会将中间层的结果反馈给其余两个缓冲区，所述其余两个缓冲区根据反馈修正数据，所述三个缓冲区输出经过加权求和后得到一个输出端；

所述神经网络模型对所述第一向量矩阵进行运算，剔除单个维度偏差大于预设阈值的特征值，得到机器学习后的第二高维度向量矩阵；

将所述第二高维度向量矩阵输入到状态链模型，根据预设的概率密度函数，确定所述多媒体数据对应的显性特征分布区域，得出可能的隐性特征分布区域，提取所述可能的隐性特征分布区域中的多个第三向量矩阵，分解所述第三向量矩阵得到隐性特征；

语义分析上述隐性特征，得到多个待定语义特征，并计算所述多个待定语义特征之间的相关度，去除其中相关度低于阈值的待定语义特征，确定所述多媒体数据对应的语义特征集合；

将所述第二高维度向量矩阵和所述语义特征集合输入计算函数，同时引入状态链模型的概率密度参数，得到所述第三向量矩阵到所述第二高维度向量矩阵的条件概率公式，经由神经网络模型计算该条件概率公式，计算得到最优的第三向量矩阵；

根据所述最优的第三向量矩阵之间的分布情况，确定不同场景划分的分界线，根据所述分界线将多媒体数据划分为不同的场景段，依次进行语义分析，得到对应不同场景段的语义标签；

根据所述语义标签，调用不同的内容检测算法，对所述语义标签对应的场景段进行内容检测。

结合第一方面，在第一方面第一种可能的实现方式中，所述语义分析还包括聚类操作，对同一类的场景段集中分析。

结合第一方面，在第一方面第二种可能的实现方式中，所述接收采集终端发送的多媒体数据流包括对所述多媒体数据流的编解码。

结合第一方面，在第一方面第三种可能的实现方式中，所述语义分析采用神经网络模型。

第二方面，本申请提供一种改进的场景内容检测的系统，所述系统包括处理器以及存储器：