“梅赫迪·雷扎霍利扎德”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果7个，建议您升级VIP下载更多相关专利

[发明专利]通过对抗学习和知识蒸馏训练神经网络模型的方法及系统-CN202180054867.3在审
发明人：瓦西莱奥斯·利奥塔斯;阿胡马德·拉希德;梅赫迪·雷扎霍利扎德 -专利权人：华为技术有限公司
申请日： 2021-09-09 - 公布日： 2023-05-26 - 主分类号： G06N3/094 文献下载
摘要：一种通过对抗学习和知识蒸馏来训练学生神经网络的方法和系统，包括：训练生成器，以通过掩蔽训练数据样本中的部分为所述训练数据样本生成对抗数据样本，从而最大化所述学生神经网络和教师神经网络模型针对所述对抗数据样本生成的输出预测之间的散度；基于以下目标训练所述学生神经网络：(i)最小化所述学生神经网络和所述教师神经网络模型针对所述对抗数据样本生成的输出预测之间的散度，(ii)最小化所述学生神经网络和所述教师神经网络模型针对所述训练数据样本生成的输出预测之间的散度。
通过对抗学习知识蒸馏训练神经网络模型方法系统

[发明专利]用于使用知识蒸馏训练神经网络模型的方法和系统-CN202180054067.1在审
发明人：佩曼·帕斯班;吴伊萌;梅赫迪·雷扎霍利扎德 -专利权人：华为技术有限公司
申请日： 2021-09-09 - 公布日： 2023-05-16 - 主分类号： G06N3/096 文献下载
摘要：描述了用于将神经模型的训练知识从复杂模型(教师)转移到较不复杂模型(学生)的无关组合知识蒸馏(CKD)方法。除了训练学生以生成近似于教师最终输出和训练输入的真值两者的最终输出外，该方法还通过训练学生的隐藏层来最大化知识转移，以生成输出，该输出近似于映射到针对给定训练输入的学生隐藏层中的每一层的教师隐藏层的子集的表征。
用于使用知识蒸馏训练神经网络模型方法系统

[发明专利]使用渐进式知识蒸馏训练神经网络模型的方法和系统-CN202180054947.9在审
发明人：阿雷夫·贾法里;梅赫迪·雷扎霍利扎德;阿里·戈德希;普拉纳夫·沙玛 -专利权人：华为技术有限公司
申请日： 2021-09-09 - 公布日： 2023-05-09 - 主分类号： G06N3/08 文献下载
摘要：训练学生神经网络(SNN)模型的方法和系统。在多个轮次上执行第一训练阶段，在第一训练阶段期间，教师神经网络(TNN)模型输出的平滑因子以生成平滑的TNN模型输出，基于SNN模型输出和平滑的TNN模型输出来计算第一损失，并且以在接下来的第一训练阶段轮次中减少所述第一损失为目标，来计算SNN模型参数的更新集合。在第一训练阶段的多个轮次上调整平滑因子，以减少所生成的平滑的TNN模型输出的平滑效应。基于SNN模型输出和针对多个输入数据样本的预定义的预期输出集合来执行第二训练阶段。
使用渐进知识蒸馏训练神经网络模型方法系统

[发明专利]用于基于乘积量化的矩阵压缩的方法和系统-CN202180053171.9在审
发明人：克廷·库马尔;梅赫迪·雷扎霍利扎德;佩曼·帕斯班 -专利权人：华为技术有限公司
申请日： 2021-04-15 - 公布日： 2023-04-25 - 主分类号： G06F16/30 文献下载
摘要：描述了用于压缩矩阵的方法和系统。将具有由相应多个向量形成的多个行的矩阵分割为多个子矩阵，每个子矩阵包含来自所述矩阵的一个或多个连续列的相应组的子向量。对于每个给定子矩阵，将所述子向量聚类为多个簇。对于每个给定簇，基于属于所述给定簇的所述子向量，计算和存储质心和方差。存储每个向量至每个子矩阵中的相应簇的映射。所述存储的质心、所述存储的方差和所述存储的映射形成压缩数据集以用于重建所述矩阵。
用于基于乘积量化矩阵压缩方法系统

[发明专利]使用和积网络进行双向翻译的系统和方法-CN202080101974.2在审
发明人： 梅赫迪·雷扎霍利扎德;瓦希德·帕托维·尼亚;穆迪·阿克马尔·海达尔;帕斯卡·普帕特 -专利权人：华为技术有限公司
申请日： 2020-07-02 - 公布日： 2023-04-04 - 主分类号： G06F40/40 文献下载
摘要：本发明描述了一种用于文本序列在第一语言和第二语言之间进行双向翻译的方法和机器翻译系统。所述机器翻译系统包括：第一自动编码器，用于接收所述第一语言的第一文本序列的向量表示，并且将所述第一文本序列的所述向量表示编码为第一句子嵌入；和积网络(sum‑product network，SPN)，用于接收所述第一句子嵌入，并且通过在已知所述第一句子嵌入的情况下最大化第二句子嵌入的第一条件概率，生成所述第二句子嵌入；第二自动编码器，用于接收所述第二句子嵌入，其中，训练所述第二自动编码器将所述第二句子嵌入解码为所述第二语言的第二文本序列的向量表示。
使用网络进行双向翻译系统方法

[发明专利]利用神经网络中的后向传递知识改进知识蒸馏-CN202180040212.0在审
发明人：阿雷夫·贾法里;梅赫迪·雷扎霍利扎德;阿里·戈德西 -专利权人：华为技术有限公司
申请日： 2021-06-05 - 公布日： 2023-02-03 - 主分类号： G06N3/084 文献下载
摘要：本发明提供了一种使用知识蒸馏压缩深度神经网络模型的方法和系统。所述方法包括：使用训练数据集训练学生神经网络模型，其中，所述训练数据集包括多个训练数据样本，所述训练包括：针对所述训练数据集中的每个训练数据样本，向教师神经网络模型输入所述训练数据样本的输入，其中，所述教师神经网络模型根据所述训练数据样本的所述输入生成第一输出；向所述学生神经网络模型输入所述训练数据样本的所述输入，其中，所述学生神经网络模型根据所述训练数据样本的所述输入生成第二输出；计算所述第一输出和所述第二输出相对于所述训练数据样本的所述输入的损失的梯度；生成包括扰动输入和辅助输出的新辅助训练数据样本，其中，所述新辅助数据样本的输入是根据所述计算出的梯度通过扰动所述训练数据样本的所述输入而生成的，所述辅助输出是通过向所述教师神经网络模型提供所述扰动输入而生成的，所述教师神经网络模型根据所述扰动输入生成所述辅助输出；将所述新辅助训练数据样本添加到所述训练数据集中。
利用神经网络中的传递知识改进蒸馏

[发明专利]多语言文本生成系统和方法-CN201980063923.2在审
发明人： 梅赫迪·雷扎霍利扎德;马德·阿胡·海德尔;艾伦·多-奥姆里;阿胡马德·拉希德 -专利权人：华为技术有限公司
申请日： 2019-09-26 - 公布日： 2021-08-06 - 主分类号： G06F40/58 文献下载
摘要：在至少一个广义方面，本文描述了系统和方法。在这些系统和方法中，构建和/或访问两种语言之间共享的潜在表示，然后利用所述潜在表示生成两种语言的文本。在至少一些实施例中，应用神经文本生成技术来促进文本生成，特别是两种语言的语句(即，词或子词的序列)生成。
语言文本生成系统方法

1
共 7 条