[发明专利]一种数据处理方法、装置及设备在审
| 申请号: | 202111452418.2 | 申请日: | 2021-12-01 |
| 公开(公告)号: | CN114298153A | 公开(公告)日: | 2022-04-08 |
| 发明(设计)人: | 傅剑文 | 申请(专利权)人: | 上海高德威智能交通系统有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N20/00 |
| 代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 王剑 |
| 地址: | 201821 上海市*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据处理 方法 装置 设备 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
将有标签数据集中的各有标签数据输入给初始模型,得到各有标签数据对应的第一特征向量,基于各有标签数据对应的第一特征向量确定特征分布;
针对无标签数据集中的每个无标签数据,将该无标签数据输入给初始模型,得到该无标签数据对应的第二特征向量;确定该无标签数据对应的不确定度;
基于该无标签数据对应的不确定度和所述特征分布,确定该第二特征向量与各有标签数据对应的第一特征向量之间的距离值;基于该第二特征向量与各第一特征向量之间的距离值,确定该无标签数据对应的目标距离值;
基于无标签数据集中的每个无标签数据对应的目标距离值,从所述无标签数据集中选取待标定数据,对所述待标定数据进行数据标定。
2.根据权利要求1所述的方法,其特征在于,将有标签数据集中的各有标签数据输入给初始模型之后,得到各有标签数据对应的预测类别;
所述基于各有标签数据对应的第一特征向量确定特征分布,包括:针对所述初始模型支持的每种目标类别,基于各有标签数据对应的预测类别确定与所述目标类别匹配的所有有标签数据,并基于与所述目标类别匹配的所有有标签数据对应的第一特征向量确定所述目标类别对应的特征分布;
所述基于该无标签数据对应的不确定度和所述特征分布确定该第二特征向量与各有标签数据对应的第一特征向量之间的距离值,包括:基于该无标签数据对应的不确定度和有标签数据对应的目标类别对应的特征分布,确定该第二特征向量与该有标签数据对应的第一特征向量之间的距离值。
3.根据权利要求2所述的方法,其特征在于,基于与所述目标类别匹配的所有有标签数据对应的第一特征向量确定所述目标类别对应的特征分布,包括:
基于与所述目标类别匹配的所有有标签数据对应的第一特征向量,确定所述目标类别对应的均值特征向量,并基于每个第一特征向量与所述均值特征向量之间的差值确定所述目标类别对应的方差特征向量;
基于所述方差特征向量确定所述目标类别对应的特征分布。
4.根据权利要求2所述的方法,其特征在于,所述基于该无标签数据对应的不确定度和有标签数据对应的目标类别对应的特征分布,确定该第二特征向量与该有标签数据对应的第一特征向量之间的距离值,包括:
确定该第二特征向量与该第一特征向量之间的差值;
确定所述差值与所述特征分布之间的分布差异;
基于所述不确定度确定所述分布差异对应的加权系数,并基于所述分布差异和所述加权系数确定该第二特征向量与该第一特征向量之间的距离值;
其中,所述不确定度越大,则所述加权系数越大,且所述距离值越大;
其中,所述分布差异越大,则所述距离值越大。
5.根据权利要求1所述的方法,其特征在于,
所述确定该无标签数据对应的不确定度,包括:
将该无标签数据分别输入给T个候选模型,得到所述T个候选模型输出的概率向量;其中,所述T个候选模型均支持C种类别,所述概率向量包括与所述C种类别对应的C个概率值;T和C均为正整数;
针对每种类别,基于T个概率向量中与该类别对应的概率值确定该类别对应的平均概率值,基于C种类别对应的平均概率值确定整体预测值;针对每个候选模型,基于该候选模型输出的概率向量确定该候选模型对应的局部预测值;
基于所述整体预测值和每个候选模型对应的局部预测值确定该无标签数据对应的不确定度。
6.根据权利要求1所述的方法,其特征在于,
所述基于该第二特征向量与各第一特征向量之间的距离值确定该无标签数据对应的目标距离值,包括:从该第二特征向量与各第一特征向量之间的距离值中选取最小距离值,基于该最小距离值确定该无标签数据对应的目标距离值;
所述基于无标签数据集中的每个无标签数据对应的目标距离值,从所述无标签数据集中选取待标定数据,包括:基于每个无标签数据对应的目标距离值对所有无标签数据进行排序,基于排序结果,从所述无标签数据集中选取目标距离值大的P个无标签数据作为所述待标定数据,所述P为正整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海高德威智能交通系统有限公司,未经上海高德威智能交通系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111452418.2/1.html,转载请声明来源钻瓜专利网。





