[发明专利]分子理解模型的训练方法、装置、设备和介质

说明书

本公开公开了一种分子理解模型的训练方法、装置、设备和介质，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域。该训练方法包括：获取预训练数据，所述预训练数据包括：第一分子表示序列样本和第二分子表示序列样本，所述第一分子表示序列样本和所述第二分子表示序列样本为同一个分子的两种不同的分子表示序列样本；采用所述分子理解模型，对所述第一分子表示序列样本进行处理，以得到预训练输出；根据所述预训练输出和所述第二分子表示序列样本计算预训练损失函数，并根据所述预训练损失函数更新所述分子理解模型的参数。本公开可以提高分子理解模型的分子理解效果。

技术领域

本公开涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域，尤其涉及一种分子理解模型的训练方法、装置、设备和介质。

背景技术

人工智能(Artificial Intelligence，AI)是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

简化分子线性输入规范(Simplified Molecular Input Line EntrySpecification，SMILES)是一种用美国信息交换标准代码(American Standard Code forInformation Interchange，ASCII)字符串明确描述分子的规范。基于SMILES，一个分子可以表示为一种或多种SMILES序列。随着深度学习技术的发展，可以将深度学习技术应用到物理化学领域。

相关技术中，在分子理解时，是基于分子的单一SMILES序列，采用双向Transformer的Encoder(Bidirectional Encoder Representations from Transformers，BERT)模型，使用掩码语言模型(Masked Language Model，MLM)任务进行训练。

发明内容

本公开提供了一种分子理解模型的训练方法、装置、设备和介质。

根据本公开的一方面，提供了一种分子理解模型的训练方法，包括：获取预训练数据，所述预训练数据包括：第一分子表示序列样本和第二分子表示序列样本，所述第一分子表示序列样本和所述第二分子表示序列样本为同一个分子的两种不同的分子表示序列样本；采用所述分子理解模型，对所述第一分子表示序列样本进行处理，以得到预训练输出；根据所述预训练输出和所述第二分子表示序列样本计算预训练损失函数，并根据所述预训练损失函数更新所述分子理解模型的参数。

根据本公开的另一方面，提供了一种基于分子模型的分子处理方法，所述分子模型包括分子理解模型和输出网络，所述分子理解模型采用同一个分子的两种不同的分子表示序列样本得到，所述分子处理方法包括：采用所述分子理解模型对分子应用输入进行处理，以得到隐层输出，在所述输出网络为分子生成网络时，所述分子应用输入包括固定标识符；采用所述输出网络对所述隐层输出进行处理，以得到分子应用输出。

根据本公开的另一方面，提供了一种分子理解模型的训练装置，包括：获取模块，用于获取预训练数据，所述预训练数据包括：第一分子表示序列样本和第二分子表示序列样本，所述第一分子表示序列样本和所述第二分子表示序列样本为同一个分子的两种不同的分子表示序列样本；处理模块，用于采用所述分子理解模型，对所述第一分子表示序列样本进行处理，以得到预训练输出；更新模块，用于根据所述预训练输出和所述第二分子表示序列样本计算预训练损失函数，并根据所述预训练损失函数更新所述分子理解模型的参数。