[发明专利]一种基于贝叶斯模型的商品编码分类方法以及系统

摘要

本发明提供了一种基于贝叶斯模型的商品编码分类方法以及系统。针对商品名信息的短文本特征所带来的稀疏性和上下文缺失问题，本申请对分词后的稀疏性词语采用同义词扩展技术，通过外部搜索引擎技术增加其词语同义度；进而，本申请采用贝叶斯模型计算商品名的词序列与编码类目之间的条件概率，从而得到其贝叶斯编码分类模型，并以训练好的模型为输入的商品名提供商品编码类目的预测。

主权项

1.一种基于贝叶斯模型的商品编码分类方法，其特征在于，包括以下步骤：样本集构建步骤，从历史数据当中，获得包含商品名信息与对应商品编码类目的样本数据，汇合为样本集；分词处理步骤，对样本集当中原始商品名信息基于语法树分词，并参照停用词表去除商品名信息当中的停用词，形成词序列；同义词扩展步骤，对于所述词序列中的词，根据互联网语料库的搜索扩展其同义词；并且对扩展后的词序列通过序列标注法确定中心词，为词序列中的词赋予不同的权重，获得具有权重的词序列；贝叶斯模型训练步骤，基于贝叶斯公式，计算商品名归属于各个编码类目的条件概率，建立贝叶斯编码分类模型；分类预测步骤，对于待预测编码类目的商品名，执行分词、去除停用词和同义词扩展处理，调用上述贝叶斯编码分类模型，查询与该商品名对应的各个类目出现的条件概率，取最大概率的类目作为对商品名分类的预测结果；其中，贝叶斯模型训练步骤包括：(1)统计样本集数据中的每个类目的频率，即类c_i占总类别C的比重：(2)计算在样本集数据当中商品名词序列W出现的概率p(W)：其中，M是样本中的总词数，词w_i为词序列中的词，t_i为同义词扩展过程中扩展的同义词，和分别是词w_i和t_i出现的次数；θ_i和分别表示词w_i和t_i各自对应的权重值；(3)计算条件概率，编码类目c中出现词序列W概率p(W|c_i)：其中，M_c是样本集的类目c中的总词数，和是类目c中词w_i和t_i出现的次数；(4)结合商品名所属的行业信息，计算出现某个商品名W时其归属于类目c的条件概率p(c_i|W，D)：其中，其中D是行业描述语义信息；绝对值表示的是D的集合的值，d是对行业语义信息进行分词后的词序列集合。