[发明专利]一种基于机器学习和相似度评分的分类方法

说明书

一种基于机器学习和相似度评分的分类方法涉及商品质量分类技术领域。本发明使商品数据在分类过程中避免因为单一方法而造成分类效果不佳；采用基于欧几里得距离公式的相似度判断机制，可以有效的完善单一分类造成的分类错误，构造二次分类模型；并且根据分类结果循环完善模型，模型随分类数据的增加而更加完善，使得分类模型具有很强的学习能力、自适应性、科学性和鲁棒性。

技术领域

本发明涉及商品质量分类技术领域，具体是一种基于机器学习和相似度评分机制的商品质量分类方法

背景技术

分类问题应用于人类生产和生活的方方面面，人们每天都面临着各种基于种类、等级或性质进行分类问题，分类方法在机器学习领域已经得到广泛研究，如判别分析和逻辑回归等。早期的机器学习算法多关注于解决回归问题，近年来在分类问题上的研究越来越多，利用机器学习解决分类问题在疾病判断，文本分析，情感分析等方面都有着重大的研究意义。

解决分类问题的机器学习算法可以分类两类：单一分类算法和集成分类算法。单一算法有以朴素贝叶斯理论为基础，提出了基于概率统计进行分类的贝叶斯算法，但是该算法使用的是样本独立性假设，样本有关联时会导致分类性能降低；基于距离度量的K近邻算法将整个数据集作为训练集，确定样本之间的距离，然后按照距离最近的K个样本划定分类，但是该算法不建立模型，不易发现样本特征见关系，且计算量大导致计算速度慢；利用树机构的决策树算法将数据分成离散类，并通过剪枝等方法防止过拟合，但是该算法忽略了数据集中属性的相关性；基于统计学理论的支持向量机算法通过在原始特征空间构建最优分割平面，将数据的正负样本进行分割，从而进行分类，但是该算法只适用于二分类问题，对于多分类问题容易产生过拟合问题。

集成分类方法有Bagging方法采用自助法抽样获得N个采样集，然后对多个基分类器机进行训练，通过组合策略获得最终集合分类器，但是该方法训练集拟合程度差，模型的偏倚较大；利用决策树作为基分类器的随机森林算法将Bagging和随机特征选择结合起来，增加决策树模型的多样性，但是该方法模型解释困难，需要花费大量功夫使模型符合数据。

当前这些方法在处理分类问题中存在许多问题，如高维小样本中往往存在大量无关特征或燥声，可能导致分类精度不高或出现过拟合现象，此外数据降维和特征选择对分类结果也容易造成巨大的影响。

发明内容

本发明所要解决的技术问题是：提出一种更好的集成分类机制使得分类问题可以得到更好的解决。目的是：1、面对数据时可以更快捷的剔除冗余数据与无关特征；2、使用多个模块循环处理个阶段结果，使得结果更加精准。

为实现上述目的，本发明采用一种基于机器学习和相似度评分机制的数据分类的方法，具体步骤如下：

步骤1：将数据集归一化处理；

步骤2：将数据集划分为训练数据集和测试数据集；

步骤3：将训练数据集通过基于随机梯度下降法的权重计算模块获取各特征权重；

步骤4：对步骤3获得的特征权重判断模块，根据判断结果删除原始数据集中对应特征；

步骤5：按照特征权重判断模块标记结果删除训练数据集和测试数据集的特征；

步骤6：将新的训练数据集重新的输入通过Logistic方法进行分类，并将Logistic方法的分类过程保存为模型。

步骤7：将新训练数据集中数据输入保存模型中，将本次判断结果与新训练数据集中标签结果输入对比模块，根据对比模块结果划分判断正确数据集与判断错误数据集；

步骤8：将判断错误数据集与判断正确数据集输入基于欧几里得距离公式(Euclidean Distance)的相似度评估与判断模块，输出每条判断错误数据集相似度评估后的判断结果；

步骤9：根据每条判断错误数据集的相似度评分集合S对错误数据进行判定；