“撖朝润”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果3个，建议您升级VIP下载更多相关专利

[发明专利]多语言BERT序列标注模型的压缩方法及系统-CN202011490078.8有效
发明人： 撖朝润;李琦;傅洛伊;王新兵 -专利权人：上海交通大学
申请日： 2020-12-16 - 公布日： 2022-09-23 - 主分类号： G06F40/126 文献下载
摘要：本发明提供了多语言BERT序列标注模型的压缩方法及系统，涉及BERT类模型的知识蒸馏技术领域，该方法包括：步骤1：基于Wordpiece算法从多语语料中抽取词表；步骤2：对多/单语言BERT教师模型、多语言BERT学生模型进行预训练；步骤3：基于人工标注的下游任务数据对多/单语言BERT教师模型进行微调；步骤4：利用多/单语言BERT教师模型对预训练后的多语言BERT学生模型进行残差知识蒸馏；步骤5：基于人工标注的下游任务数据对蒸馏后的多语言BERT学生模型进行微调。本发明通过残差学习和多对一的知识蒸馏方式，提高了学生模型的准确率和泛化程度，降低了多语言环境下BERT类序列标注模型部署所需的硬件资源。
语言 bert 序列标注模型压缩方法系统

[发明专利]语言模型训练方法、装置、设备及存储介质-CN202110031416.X在审
发明人： 撖朝润;张海松;徐坤;史树明;傅洛伊 -专利权人：腾讯科技（深圳）有限公司;上海交通大学
申请日： 2021-01-11 - 公布日： 2021-10-19 - 主分类号： G06F40/30 文献下载
摘要：本申请实施例提供了一种语言模型训练方法、装置、设备及存储介质，涉及机器学习技术领域。所述方法包括：基于全量预训练语料对初始的学生语言模型进行全量预训练，得到全量预训练后的学生语言模型；基于增量预训练语料对全量预训练后的学生语言模型进行增量预训练，得到增量预训练后的学生语言模型；其中，增量预训练语料是在全量预训练语料的基础上新增的预训练语料；采用教师语言模型对增量预训练后的学生语言模型进行知识蒸馏处理，得到蒸馏后的学生语言模型；采用目标任务的第二训练样本集，对蒸馏后的学生语言模型进行参数调整处理，得到完成训练的学生语言模型。采用本申请实施例提供的技术方案，能够节省语言模型训练的时间。
语言模型训练方法装置设备存储介质

[发明专利]基于孤立森林模型实现烟草销售异常行为检测的方法-CN201911188896.X在审
发明人：王贞;陶春和;黄丽;刘甡泰;撖朝润;吴志鹏;甘小莺 -专利权人：公安部第三研究所
申请日： 2019-11-28 - 公布日： 2020-05-01 - 主分类号： G06Q30/02 文献下载
摘要：本发明涉及一种基于孤立森林模型实现烟草销售异常行为检测的方法，包括以下步骤：对数据集进行预处理、对数据集进行特征提取、构建孤立森林模型、通过孤立森林模型对预测数据进行异常检测。采用了本发明的基于孤立森林模型实现烟草销售异常行为检测的方法，通过对卷烟零售户销售假烟的行为特征与属性特征进行分析，细化传统的销售指标，并增加刻画零售商内在属性的属性特征和控制时间效应与周期性的月份指标。并结合实际场景中，数据量小，标签稀少的特点，采用无监督的孤立森林算法进行异常检测。使得该算法能在数据量小的情况下依然取得较高的查全率，更有效的为执法部门提供决策支持的同时，也使得信息利用最大化。
基于孤立森林模型实现烟草销售异常行为检测方法