[发明专利]数据处理方法、装置和系统

说明书

本公开提出一种数据处理方法、装置和系统，涉及网络运营和通信技术领域。将带标签的标记样本集合分成多组标记样本子集合；将多组标记样本子集合分别输入多个基分类器，对每个基分类器进行训练；针对每个基分类器，挑选其他基分类器输出的预测结果相同的不带标签的未标记样本，并将预测结果作为标签对未标记样本进行标记得到待扩充的标记样本，根据待扩充的标记样本确定扩充的标记样本集合；利用每个基分类器的扩充的标记样本集合，对相应的基分类器继续进行训练，训练好的多个基分类器构成分类器模型。实现了一种基于样本扩充的半监督学习来获得分类器模型，相对于监督学习和无监督学习，既能减少人工标注的工作量，又能保障识别准确率。

技术领域

本公开涉及网络运营和通信技术领域，特别涉及一种数据处理方法、装置和系统。

背景技术

相关技术中，对于客户电路业务识别有以下几种方案：(1)基于特定的协议类型的识别方法，也称为端口识别方法；(2)基于DPI(Deep Packet Inspection，深度包检测)的有效载荷的识别方法；(3)基于流统计特征和机器学习的识别方法。

上述方案(1)，随着网络应用的增多，许多业务不局限于使用固定的端口，导致采用特定的协议类型的识别方法进行识别的效果很差，只能在特定的网络部署场景下才能使用。

上述方案(2)，对于某些使用加密算法的加密流量，在通信期间传输的数据被加密，没有固定的特殊字段，使用DPI技术无法进行精确识别，此外该类方法需要分析数据包的有效载荷内容来识别流量，涉及侵犯用户隐私。

上述方案(3)，机器学习的方式相对来说可以弥补前两项方案的缺点，但是基于监督学习的算法需要大量的人工标注业务标签，才能进行有效的模型训练，耗费大量人力物力；无监督学习虽无需进行业务标签标注，但在识别准确率上达不到理想效果。

发明内容

本公开实现了一种基于样本扩充的半监督学习来获得分类器模型，用来根据客户电路数据通过分类识别客户电路相应的业务类型，相对于监督学习和无监督学习，既能减少人工标注的工作量，又能保障识别准确率。

本公开一些实施例提出一种数据处理方法，包括：

将带标签的标记样本集合分成多组标记样本子集合；

将多组标记样本子集合分别输入多个基分类器，对每个基分类器进行训练；

针对每个基分类器，挑选其他基分类器输出的预测结果相同的不带标签的未标记样本，并将预测结果作为标签对未标记样本进行标记得到待扩充的标记样本，根据待扩充的标记样本确定扩充的标记样本集合；

利用每个基分类器的扩充的标记样本集合，对相应的基分类器继续进行训练，训练好的多个基分类器构成分类器模型。

在一些实施例中，所述根据待扩充的标记样本确定扩充的标记样本集合包括：

利用带标签的标记样本集合，训练分类器，得到第一分类错误率；

将每个待扩充的标记样本添加到标记样本集合得到第一标记样本集合，利用第一标记样本集合训练分类器，得到第二分类错误率；

将第二分类错误率小于第一分类错误率的待扩充的标记样本构成待扩充的标记样本集合；

根据待扩充的标记样本集合确定扩充的标记样本集合。

在一些实施例中，所述根据待扩充的标记样本集合确定扩充的标记样本集合包括：待扩充的标记样本集合中的样本数量是否小于或等于阈值，如果是，将待扩充的标记样本集合作为扩充的标记样本集合，如果否，按照所述阈值从待扩充的标记样本集合中选择部分标记样本作为扩充的标记样本集合。

在一些实施例中，所述阈值根据带标签的标记样本集合中的样本数量、第二分类错误率、所述分类器当前的迭代次数确定。