“暴宇健”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果61个，建议您升级VIP下载更多相关专利

[发明专利]一种文本分类方法及装置-CN202310660414.6有效
发明人：吴亚军;蒋敏;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-06-06 - 公布日： 2023-08-11 - 主分类号： G06F16/35 文献下载
摘要：本公开提供了一种文本分类方法及装置。该方法利用随机注意力层通过在待处理文本中不同的字符的位置上随机选择不同的位置进行注意力计算，以防止模型过拟合；利用局部注意力层通过选择与待处理文本中各个字符位置相邻的位置进行注意力计算，可以确定待处理文本中各个字符之间的局部关系，以及利用全局注意力层基于整个待处理文本中的所有字符的位置进行注意力计算确定待处理文本的全局关系。这样，通过将随机注意力层、局部注意力层和全局注意力层进行结合，可以利用待处理文本中字符的局部关系和全局关系对待处理文本进行更加准确的分类，从而可以提高待处理文本的类别确定结果的精确度，以及，可以防止模型过拟合，可以提高模型性能。
一种文本分类方法装置

[发明专利]基于文本数据训练生成对抗网络的方法及装置-CN202310797490.1在审
发明人： 暴宇健;王芳 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-07-03 - 公布日： 2023-08-04 - 主分类号： G06N3/0475 文献下载
摘要：本公开提供了一种基于文本数据训练生成对抗网络的方法及装置，该方法包括：通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合；将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分；根据每个目标文本数据是否包含有害内容的评分，确定目标文本数据集合中目标文本数据包含有害内容的有害率；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练。本公开技术方案可以提升生成器识别有害内容的能力。
基于文本数据训练生成对抗网络方法装置

[发明专利]CTR预测模型的知识蒸馏方法及装置-CN202310820709.5在审
发明人：董辉;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-07-06 - 公布日： 2023-08-04 - 主分类号： G06N5/02 文献下载
摘要：本申请涉及机器学习技术领域，提供了一种CTR预测模型的知识蒸馏方法及装置。该方法包括：获取多个已训练好的重量级的教师模型和一个未被训练的轻量级的学生模型；将训练数据分别输入学生模型和多个教师模型，得到学生模型和多个教师模型各自的输出；利用门控模型确定多个教师模型各自的输出对应的权重，并基于多个教师模型各自的输出所对应的权重，计算多个教师模型各自的输出的加权和；基于学生模型的输出和加权和，利用目标损失函数计算损失值，并基于损失值更新学生模型的模型参数，以完成从多个教师模型到学生模型的知识蒸馏。采用上述技术手段，解决现有技术中，通过知识蒸馏得到的小规模的CTR预测模型往往使用效果不尽人意的问题。
ctr 预测模型知识蒸馏方法装置

[发明专利]基于回译的翻译模型训练方法及装置-CN202310814082.2在审
发明人：王芳;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-07-05 - 公布日： 2023-08-01 - 主分类号： G06F18/214 文献下载
摘要：本申请提供了一种基于回译的翻译模型训练方法及装置。该方法包括：通过正向翻译模型正译得到各条第一语言语料对应的第二语言表征向量组和第二语言语料，并计算各条第一语言语料对应的第一均值向量；通过逆向翻译模型回译得到各条第二语言语料对应的第二语言表征向量组，并计算各条第二语言语料对应的第二均值向量；根据每条第一语言语料对应的第一均值向量和第二均值向量以及与该条第一语言语料语义不同的另一条第一语言语料对应的第二均值向量，利用三元组损失函数计算第一对比损失；根据每条第一语言语料对应的第二语言语料以及标签，利用多分类交叉熵损失函数计算第一分类损失；依据第一对比损失和第一分类损失更新正向翻译模型的模型参数。
基于翻译模型训练方法装置

[发明专利]语言生成模型的训练方法、语言生成方法及电子设备-CN202310814056.X在审
发明人： 暴宇健;汪骞 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-07-05 - 公布日： 2023-08-01 - 主分类号： G06N3/092 文献下载
摘要：本申请涉及人工智能技术领域，提供了一种语言生成模型的训练方法、语言生成方法及电子设备。该方法包括：获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数；根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数；通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型。本申请实施例提高了语音生成模型的训练效率。
语言生成模型训练方法电子设备

[发明专利]基于上下文的文本表征模型训练方法及装置-CN202310779760.6在审
发明人：孙海亮;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-06-29 - 公布日： 2023-07-28 - 主分类号： G06F40/289 文献下载
摘要：本公开涉及机器学习技术领域，提供了一种基于上下文的文本表征模型训练方法及装置。该方法包括：通过非线性编码网络确定每个词语的低维向量表征；根据前K个词语的低维向量表征，通过长短期记忆网络确定前K个词语的上下文潜向量；将第K个词语的上下文潜向量分别经过N‑K个全连接神经网络，得到第K+1个词语至第N个词语的预测向量表征；根据第K+1个词语至第N个词语的低维向量表征和预测向量表征，计算自监督损失；从训练数据集中确定出前K个词语的正样本和负样本，根据前K个词语以及前K个词语的正样本和负样本的低维向量表征，计算对比学习损失；根据自监督损失和对比学习损失更新文本表征模型的模型参数，以完成对文本表征模型的训练。
基于上下文文本表征模型训练方法装置

[发明专利]基于变异字符检测的预训练模型训练方法及装置-CN202310332029.9在审
发明人：王芳;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-03-30 - 公布日： 2023-07-25 - 主分类号： G06F40/279 文献下载
摘要：本申请提供一种基于变异字符检测的预训练模型训练方法及装置。该方法包括：获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失；基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。本申请提升预训练模型的准确性，提升模型的泛化能力和灵活性，从而保证检索结果的精度和可靠。
基于变异字符检测训练模型方法装置

[发明专利]一种模型训练方法及装置-CN202310426725.6在审
发明人：王芳;暴宇健 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-04-12 - 公布日： 2023-07-21 - 主分类号： G06F18/214 文献下载
摘要：本公开涉及人工智能技术领域，提供一种模型训练方法、装置、计算机设备及计算机可读存储介质。该方法通过基于对比学习的强化学习方式对决策模型进行训练，让决策模型能够从泛化模型所得到的已有的经验中提取知识，并使得决策模型的训练过程更加鲁棒，能减少决策模型对训练样本集的过度拟合。由于增强样本图片为根据原始样本图片所确定的，故可实现在原始样本图片的基础上，新增得到增强样本图片，并利用基于对比学习的强化学习算法使得决策模型进行原始样本图片及增强样本图片的对比学习，从而可使决策模型可以更好地适应变化后的图片的预测效果。且可通过基于对比学习的强化学习方式对决策模型进行训练，提升决策模型的预测结果的准确性和精度。
一种模型训练方法装置

[发明专利]目标推荐方法及装置-CN202310118720.7在审
发明人： 暴宇健;董辉 -专利权人：北京龙智数科科技服务有限公司
申请日： 2023-02-06 - 公布日： 2023-07-21 - 主分类号： G06Q30/0601 文献下载
摘要：本公开涉及计算机技术领域，提供了一种目标推荐方法及装置。该方法包括：获取当前用户行为序列的当前用户行为序列图，所述当前用户行为序列为描述当前用户对商品进行访问的时序的序列；将所述当前用户行为序列图输入到预置的图向量提取模型，得到所述当前用户行为序列图的各节点表征向量；将所述各节点表征向量输入预置的目标推荐模型，得到所述目标推荐模型输出的目标商品，其中，所述目标推荐模型采用判断用户行为序列图是否相近的对比学习损失函数和判断用户是否选择商品的二分类损失函数训练得到。
目标推荐方法装置

[发明专利]一种推荐模型的训练方法及装置-CN202211699937.3在审
发明人： 暴宇健;董辉 -专利权人：北京龙智数科科技服务有限公司
申请日： 2022-12-28 - 公布日： 2023-07-04 - 主分类号： G06F18/214 文献下载
摘要：本公开涉及人工智能技术领域，提供了一种推荐模型的训练方法、装置、计算机设备及计算机可读存储介质。该方法可以根据不同的样本类型设置不同的损失函数权重值，以便对所述推荐模型进行训练的过程中，可以减少不影响模型训练效果的样本类型的训练推荐样本的损失函数权重值，以及提高对模型训练效果影响较大的样本类型的训练推荐样本的损失函数权重值，以充分发挥对模型训练效果影响较大的样本类型的训练推荐样本的潜力，减少对模型训练效果没有影响或者影响较差的样本类型的训练推荐样本对于推荐模型训练的影响，以便可以提升了推荐模型的训练效率和效果，进而提升推荐模型的性能，进一步提高实际业务场景中推荐模型的推荐效果。
一种推荐模型训练方法装置

[发明专利]基于为图像添加噪声的图像数据增强方法及装置-CN202310364619.X在审
发明人： 暴宇健;汪骞 -专利权人：北京龙智数科科技服务有限公司
申请日： 2023-04-07 - 公布日： 2023-07-04 - 主分类号： G06T5/50 文献下载
摘要：本公开涉及图像处理技术领域，提供了一种基于为图像添加噪声的图像数据增强方法及装置。该方法包括：获取待数据增强的图像数据集；利用图像扩散模型的扩散过程为图像数据集中的目标图像连续多次添加噪声，得到目标图像对应的第一噪声图像；利用图像扩散模型的逆扩散过程预测在扩散过程中添加的多个噪声，并在第一噪声图像中依次除去预测的多个噪声，得到目标图像对应的还原后的第一去噪图像；利用目标图像和第一去噪图像生成数据增强后的图像数据集。采用上述技术手段，解决现有技术中，传统数据增强方法得到的图像缺乏真实性的问题。
基于图像添加噪声数据增强方法装置

[发明专利]改进自注意力模型的文本处理方法及装置-CN202310283224.7在审
发明人：王芳;暴宇健 -专利权人：北京龙智数科科技服务有限公司
申请日： 2023-03-22 - 公布日： 2023-06-23 - 主分类号： G06N3/045 文献下载
摘要：本公开涉及文本处理技术领域，提供了一种改进自注意力模型的文本处理方法及装置。该方法包括：构建自注意力模型的嵌入层和线性层各自对应的第一矩阵和第二矩阵；利用嵌入层对应的第一矩阵和第二矩阵构建嵌入层的第一旁路网络，利用线性层对应的第一矩阵和第二矩阵构建线性层的第二旁路网络；对构建第一旁路网络和第二旁路网络后的自注意力模型进行训练：冻结自注意力模型中除第一旁路网络和第二旁路网络之外的其它网络层的网络参数，对第一旁路网络和第二旁路网络进行训练；利用训练后的自注意力模型执行文本处理任务。采用上述技术手段，解决现有技术中，自注意力模型训练面临待调优参数量大和耗时长的问题。
改进注意力模型文本处理方法装置

[发明专利]加速文本处理模型训练的方法及装置-CN202310197464.5在审
发明人：蒋敏;暴宇健 -专利权人：北京龙智数科科技服务有限公司
申请日： 2023-03-01 - 公布日： 2023-06-23 - 主分类号： G06F18/214 文献下载
摘要：本公开涉及文本处理技术领域，提供了一种加速文本处理模型训练的方法及装置。该方法包括：获取文本训练数据集，其中，文本训练数据集包括多条训练文本；基于每条训练文本的文本长度对多条训练文本进行排序，得到排序结果；基于批处理大小对排序结果中的训练文本进行划分，得到多个批次，每个批次内含多条训练文本，其中，批处理条数用于指示每个批次训练中训练文本的条数；利用多个批次的训练文本对文本处理模型进行多批次训练。采用上述技术手段，解决现有技术中，动态填充文本的方式训练文本处理模型存在训练时间过长的问题。
加速文本处理模型训练方法装置

[发明专利]一种推荐方法及装置-CN202310271141.6在审
发明人：姜佳;暴宇健 -专利权人：北京龙智数科科技服务有限公司
申请日： 2023-03-17 - 公布日： 2023-06-23 - 主分类号： G06Q30/0601 文献下载
摘要：本公开涉及人工智能技术领域，提供了一种推荐方法、装置、计算机设备及计算机可读存储介质。该方法可以提高推荐策略模型对于目标对象对应的目标推荐策略的预测的精准度，可以实现线上指标的进一步提升，以及，可以灵活的针对不同用户和对象(例如商品)给予不同的推荐策略，可以弥补对于用户线上实时行为反应滞后的不足；同时，可以进一步提高整体环节的数据质量，为后续召回和排序模型的迭代贡献了更为干净和高质量的模型训练样本数据，降低了推荐策略模型有偏的概率，以及，推荐策略模型可以有更高的可解释性，利于模型策略接待升级，并且推荐策略模型对线上数据比较敏感，可以快速根据数据分布调整目标对象对应的目标推荐策略。
一种推荐方法装置

[发明专利]一种增强样本的生成方法及装置-CN202310589045.6在审
发明人：吴亚军;暴宇健;汪骞 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-05-24 - 公布日： 2023-06-23 - 主分类号： G06V10/774 文献下载
摘要：本公开涉及人工智能技术领域，提供了一种增强样本的生成方法、装置、计算机设备及计算机可读存储介质。该方法可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。
一种增强样本生成方法装置