[发明专利]一种多模态融合的商品分类系统

说明书

技术领域

本发明涉及商品分类技术领域，具体涉及一种多模态融合的商品分类系统。

背景技术

商品分类为商品检索、商品置放策略制定以及智能推荐等提供了有力支撑。图像作为商品的主要信息载体，基于图像的商品分类技术研究己成为图像处理、计算机视觉和模式识别领域的研究热点。然而，现有的商品分类方法仅对商品的图像进行研究而忽略了商品的文本信息，另一方面，现有的商品分类方法存在分类准确率低、分类速度慢等问题。

发明内容

针对上述问题，本发明旨在提供一种多模态融合的商品分类系统。

本发明的目的采用以下技术方案来实现：

提供了一种多模态融合的商品分类系统，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。

本发明的有益效果为：能够实现较为精确和快速的商品分类。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明的结构连接示意图；

附图标记：

基于图像的商品分类模块1、基于文本的商品分类模块2、图文融合分类模块3、商品分类准确度评价模块4。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例的一种多模态融合的商品分类系统，包括基于图像的商品分类模块1、基于文本的商品分类模块2和图文融合分类模块3，所述基于图像的商品分类模块1用于获取商品图像的分类结果；所述基于文本的商品分类模块2用于获取商品文本的分类结果；所述图文融合分类模块3用于融合基于商品图像的分类结果和基于文本图像的分类结果，得到并输出商品类别。

本实施例能够实现较为精确和快速的商品分类。

优选地，所述基于图像的商品分类模块1用于获取商品图像的分类结果，具体为：

(1)对需分类的商品图像进行图像去噪处理，包括：

1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；

2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；

3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；所述K-MEANS聚类方法具体描述如下：步骤1：随机选取k个聚类质心点为μ₁,μ₂,…,μ_k，步骤2：对于每个样本例i，计算其应该属于的类，对于每一个类j，重新计算该类的质心，步骤3：重复步骤2，直到收敛；

4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。

(2)将第j类商品图像的训练样本集表示为F_j＝[f_j,1,f_j,2,…,f_j,n]，则所有类别的训练样本集F＝[F₁,F₂,…,F_N]构成过完备字典，其中，N表示商品类别数，对于未知类别测试样本t，可表示为F的线性组合：

t＝Fa

式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；

定义函数ρ_j(a)，该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可表示为：

式中，j_be表示测试样本t所属类别，Fρ_j(a)表示测试样本第j类的重构图像，||t-Fρ_j(a)||₂表示原始图像和第j类重构图像的重构残差；

图像分类得分为：

式中，表示商品属于第j类的图像分类得分，1≤j,k≤N。