[发明专利]一种特征库构建方法和模型训练方法

说明书

一种特征库构建方法，所述方法包括：获取第一文件样本集，所述第一文件样本集包括多个文件样本和每个文件样本的清理等级；从所述第一文件样本集的每个文件样本中提取可影响该文件样本的清理等级的特征词；对提取的特征词进行过滤处理，以获得多个有效特征词；设置每个有效特征词的权重，并根据每个有效特征词和每个有效特征词的权重构建用于推荐文件的清理等级的特征库。

技术领域

本发明涉及人工智能技术领域，更具体地涉及一种特征库构建方法、模型训练方法、特征库构建装置和横向联邦学习系统。

背景技术

随着手机硬件的提升，手机存储空间也越来越大，目前主流手机的配置一般为64G、128G或512G。虽然如此，随着移动软件体积的增大、以及视频和照片等存储功能的频繁使用，手机存储空间不足仍然是手机用户常见的问题，比如，手机存储空间不足除了影响正常的使用(如下载不了软件或文件)，还会伴随卡顿现象等影响体验的问题。因此，手机垃圾文件清理功能的需求依然为手机的主要功能之一。

目前手机的垃圾清理功能主要是通过人工运营结合自动化分析的方法来实现，一般包含：一键清理或建议清理(清理后对软件不产生影响，默认扫描并勾选上，这个一般指纯粹意义上的垃圾)、深度清理(清理后可能对软件或手机系统产生影响，也可能并没有影响，需要用户主动思考并选择)。

发明人研究发现：现有技术中垃圾清理功能的实现方式不仅人力物力成本较高，且当用户想进一步清理时，需要用户需要花费很大的精力去考虑和选择哪些需要保留、哪些需要删除，时间成本较高且用户体验度较差；另外，现有技术中还存在通过模型识别垃圾邮件的方法，但是这种方法所使用的特征库并不适用于文件清理等级的识别。

发明内容

本发明提供了一种特征库构建方法、模型训练方法、特征库构建装置和横向联邦学习系统，能够有效地解决上述问题。

本发明的一个方面提供了一种特征库构建方法，所述方法包括：获取第一文件样本集，所述第一文件样本集包括多个文件样本和每个文件样本的清理等级；从所述第一文件样本集的每个文件样本中提取可影响该文件样本的清理等级的特征词；对提取的特征词进行过滤处理，以获得多个有效特征词；设置每个有效特征词的权重，并根据每个有效特征词和每个有效特征词的权重构建用于推荐文件的清理等级的特征库。

可选地，所述从所述第一文件样本集的每个文件样本中提取可影响该文件样本的清理等级的特征词，包括：从所述第一文件样本集的每个文件样本的内部固有属性中提取可影响该文件样本的清理等级的特征词；和/或从所述第一文件样本集的每个文件样本的外部操作属性中提取可影响该文件样本的清理等级的特征词。

可选地，所述设置每个有效特征词的权重，包括：获取第二文件样本集，所述第二文件样本集包括训练集和测试集，所述训练集和所述测试集中均包括多个文件样本和每个文件样本的清理等级；从获得的所有有效特征词中筛选出用于确定权重的目标特征词；从所述训练集的多个文件样本中提取与所述目标特征词相匹配的特征，将从所述训练集中提取的特征作为输入并将对应的清理等级作为输出对预置的机器学习模型进行训练；从所述测试集的多个文件样本中提取与所述目标特征词相匹配的特征，将从所述测试集中提取的特征输入至训练好的机器学习模型，得到输出的清理等级；根据所述输出的清理等级和所述测试集中对应的清理等级，确定用于表征所述训练好的机器学习模型的优劣的指标值；根据所述指标值确定对应的有效特征词的权重。

可选地，所述从获得的所有有效特征词中筛选出用于确定权重的目标特征词，包括：从获得的所有有效特征词中随机筛选出一未确定权重的有效特征词，作为所述目标特征词；所述根据所述指标值确定对应的有效特征词的权重，包括：根据所述训练好的机器学习模型的准确率、精确率和召回率确定当前目标特征词的权重。