[发明专利]一种基于多模态模型的汉字易混淆集构建方法

权利要求书

1.一种基于多模态模型的汉字易混淆集构建方法，其特征在于，构建易混淆集的具体步骤为：

S1：得到字典Dic中汉字字符C_i与字典Dic中每一个汉字字符的字形编码的相似度，并对根据字形编码得到的所有相似度进行归一化，并由经归一化的所有相似度构建出一个向量，作为汉字字符C_i的字形编码相似度向量，记为shape-edi[C_i]；

S2：得到字典中汉字字符C_i与字典Dic中每一个汉字字符的字音编码的相似度，并对根据字音编码得到的所有相似度进行归一化，并由经归一化的所有相似度构建出一个向量，作为汉字字符C_i的字音编码相似度向量，记为pronunce-edi[C_i]；

S3：构建并训练出一个图像分类的神经网络模型，再输入汉字字符C_i的手写体图像，由图像分类的神经网络模型输出一个M维的向量，每一个维度上的值分别为当前输入的汉字字符C_i的手写体图像被识别为字典Dic中每一个字符的概率值，并满足所有概率值的和为1，则由图像分类的神经网络模型输出的M维的向量，作为汉字字符C_i的字形视觉易混淆向量，记为shape-net[C_i]；

S4：构建并训练出一个音频分类的神经网络模型，再输入汉字字符C_i的音频数据，由音频分类的神经网络模型输出一个M维的向量，每一个维度上的值分别为当前输入的汉字字符C_i的被识别为字典Dic中每一个字符的概率值，并满足所有概率值的和为1，则由音频分类的神经网络模型输出的M维的向量，作为汉字字符C_i的字音听觉易混淆向量，记为pronunce-net[C_i]；

S5：将汉字字符C_i的字形编码相似度向量、字音编码相似度向量、字形视觉易混淆向量、字音听觉易混淆向量，加权组合为一个向量，作为音形易混淆向量，记为

，并满足四个加权值的和为1，则音形易混淆向量中的每个维度上的值表示为汉字字符C_i与字典Dic中每一个汉字字符的相似度，从而依据音形易混淆向量中每个维度上的相似度，选择对应的字典Dic中的汉字，构成汉字字符C_i的音形易混淆集。