[发明专利]一种训练样本数据的获取方法、处理方法、装置及系统

说明书

本说明书公开一种训练样本数据的获取方法、处理方法、装置及系统，其中适于在边缘计算服务器上执行的数据获取方法，包括：根据当前训练集训练目标模型，基于所述当前目标模型，获得评估数据样本对当前目标模型重要性的当前重要性计算模型，通过所述当前重要性计算模型对测试集中每一数据样本计算重要性评估值，获得重要性均值Lsubgt;ave/subgt;；将所述当前重要性计算模型的参数和重要性均值Lsubgt;ave/subgt;以广播方式发送给各边缘设备；根据收到的各边缘设备的接入机会参数值计算各设备的接入概率，向接入概率最大的边缘设备发送传输触发命令；接收边缘设备依据当前重要性计算模型和重要性均值Lsubgt;ave/subgt;进行筛选后发送的数据，将所述数据加入当前训练集，以使目标模型参数得到更新。

技术领域

本发明涉及通信技术领域，具体而言，涉及一种训练样本数据的获取方法、处理方法、装置及系统。

背景技术

随着物联网、车联网等技术的发展和大规模智能终端的部署，边缘计算在处理终端产生的大量数据发挥着越来越重要的作用，针对边缘计算中的设备部署、资源分配、性能优化的研究也越来越多。相关的研究从各种不同的方面入手优化边缘计算的通信性能或将边缘计算方法结合实际应用中。相关的边缘计算技术主要研究如何通过资源的分配提高信道利用率、最大化通信容量、降低时延，但不会考虑传输的数据本身对模型训练的重要程度。而在边缘学习中，优化的目标还应包括模型的性能，而对于学习模型的训练，不同数据的重要性是不一样的。所以通信方案的设计除了获得更高的通信容量外，还应考虑到提高传输数据的总重要性。

综上，如何提高通信中所传输数据的重要性，优化模型的性能，成为亟待解决的问题。

发明内容

本说明书提供一种训练样本数据的获取方法、处理方法、装置及系统，用以克服现有技术中存在的至少一个技术问题。

根据本说明书实施例的第一方面，提供一种训练样本数据的获取方法，适于在边缘计算服务器上执行，包括：根据当前训练集训练目标模型，得到当前目标模型；基于所述当前目标模型的结构，获得评估数据样本对当前目标模型的重要性的当前重要性计算模型，所述当前重要性计算模型推理获得当前目标模型对每一输入的模拟输出，并通过该模拟输出与每一输入对应的标准输出的差距来表征当前目标模型对该输入的分析能力，以此作为该输入的重要性评估值，所述重要性评估值表征当前目标模型对该数据样本的分析能力；通过所述当前重要性计算模型对测试集中的每一数据样本计算对应的重要性评估值，并计算测试集数据样本的重要性均值L_ave；将所述当前的重要性计算模型的参数和对应的重要性均值L_ave以广播方式发送给各边缘设备，以使得各边缘设备依据所述当前重要性计算模型和对应的重要性均值L_ave对向边缘计算服务器发送的数据样本进行筛选；接收各边缘设备发送的接入机会参数值，依据所述接入机会参数值计算各边缘设备的接入概率，选择接入概率最大的边缘设备，向该边缘设备发送传输触发命令，各边缘设备发送的所述接入机会参数值正比于该边缘设备待传输数据的重要性评估值与该边缘设备对应的传输速率的乘积；接收被选择的边缘设备依据所述当前重要性计算模型和对应的重要性均值L_ave进行筛选后发送的数据，将所述数据加入当前训练集，并继续根据各边缘设备的接入机会参数值选择传输数据的边缘设备；当接收到的所述数据达到预设的数目后，通过当前训练集对目标模型进行训练，得到参数更新后的目标模型。

可选地，所述基于所述当前目标模型的结构，获得预测数据样本对当前目标模型的数据重要性的当前重要性计算模型的步骤，包括：获取重要性计算模型的训练样本集，所述训练样本集包括多个重要性训练样本，每一重要性训练样本包括一个样本数据的样本输入、标准输出以及当前目标模型对该样本输入的模型输出以及该样本数据的重要性评估值，所述重要性评估值为所述模型输出与所述标准输出的差值的二范数的平方，所述样本数据为目标模型训练集中的数据样本；通过所述训练样本集对重要性计算模型进行训练，得到当前重要性计算模型，所述重要性计算模型根据输入的数据样本，输出该数据样本对于当前目标模型的重要性评估值。