[发明专利]一种训练数据的处理方法及装置

摘要

本发明公开了一种训练数据的处理方法及装置，其中该方法包括获取训练数据，并确定训练数据的原始特征空间，原始特征空间为训练数据原始的特征数据存储结构；对原始特征空间进行扫描统计，并根据统计结果建立全局索引；根据全局索引将训练数据映射到实际特征空间，实际特征空间为根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构；利用实际特征空间的训练数据进行模型训练。本发明实施例通过全局索引将训练数据做一次映射，将稀疏的存储结构转换为稠密的存储结构，不仅大大的减少了存储空间的消耗，还提升了模型的网络传输速度和模型训练更新的速度。

主权项

一种训练数据的处理方法，其特征在于，包括：获取训练数据，并确定所述训练数据的原始特征空间，所述原始特征空间为训练数据原始的特征数据存储结构；对所述原始特征空间进行扫描统计，以确定在原始特征空间内实际存储有特征数据的位置；统计所述位置的数量，并根据所述数量确定实际特征空间的长度；根据所述实际特征空间的长度设定实际特征空间的特征序号；获取原始特征空间中预设的特征序号，建立所述原始特征空间中预设的特征序号与实际特征空间的特征序号的映射关系，得到全局索引；根据所述全局索引将所述训练数据映射到实际特征空间，所述实际特征空间为根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构；根据所述全局索引，将预置的稀疏逻辑回归模型转换为稠密逻辑回归模型；基于所述稠密逻辑回归模型，利用实际特征空间的训练数据进行模型迭代训练，得到迭代后的稠密逻辑回归模型。