[发明专利]一种信息录入方法及装置、存储介质及电子设备

权利要求书

1.一种信息录入方法，其特征在于，应用于智能柜台端，所述方法包括：

响应于信息录入指令，通过所述智能柜台端的摄像头采集用户视频，并通过所述智能柜台端的录音设备采集用户语音信息；

利用预先构建的神经网络模型对所述用户视频中的各视频帧进行处理，获得所述用户视频中的人脸信息；并利用预先训练好的语音识别模型对所述用户语音信息进行语音识别，获得语音识别结果；

判断所述人脸信息与所述信息录入指令对应的用户的标准人脸信息是否匹配；

若所述人脸信息与所述标准人脸信息匹配，则在所述智能柜台端的显示界面的信息录入框中显示所述语音识别结果。

2.根据权利要求1所述的方法，其特征在于，构建神经网络模型的过程，包括：

获取初始神经网络模型以及训练数据集；所述训练数据集包括多个历史用户图片；

应用预设的生成对抗网络对所述训练数据集中的每个所述历史用户图片进行数据增强，获得目标训练数据集；

利用所述目标训练数据集对所述初始神经网络模型进行训练，获得神经网络模型。

3.根据权利要求1所述的方法，其特征在于，所述利用预先构建的神经网络模型对所述用户视频中的各视频帧进行处理，获得所述用户视频中的人脸信息，包括：

通过预先构建神经网络模型的特征提取模块提取所述用户视频中的每一视频帧的视频帧空间特征和时间特征，

通过预先构建神经网络模型的输出模块基于各个所述视频帧的视频帧空间特征和时间特征，输出所述用户视频的人脸信息。

4.根据权利要求1所述的方法，其特征在于，所述判断所述人脸信息与所述业务办理指令对应的客户的标准人脸信息是否匹配，包括：

计算所述人脸信息与所述业务办理指令对应的客户的标准人脸信息的相似度；

在所述人脸信息与所述标准人脸信息的相似度大于预设的相似度阈值的情况下，确定所述人脸信息与所述标准人脸信息匹配；

在所述人脸信息与所述标准人脸信息的相似度不大于预设的相似度阈值的情况下，确定所述人脸信息与所述标准人脸信息不匹配。

5.根据权利要求1所述的方法，其特征在于，所述在所述智能柜台端的显示界面的信息录入框中显示所述语音识别结果之后，还包括：

当接收到信息确认指令时，根据所述语音识别结果为所述用户办理所述信息录入框对应的业务。

6.一种信息录入装置，其特征在于，应用于智能柜台端，所述装置包括：

采集单元，用于响应于信息录入指令，通过所述智能柜台端的摄像头采集用户视频，并通过所述智能柜台端的录音设备采集用户语音信息；

执行单元，用于利用预先构建的神经网络模型对所述用户视频中的各视频帧进行处理，获得所述用户视频中的人脸信息；并利用预先训练好的语音识别模型对所述用户语音信息进行语音识别，获得语音识别结果；

判断单元，用于判断所述人脸信息与所述信息录入指令对应的用户的标准人脸信息是否匹配；

显示单元，用于若所述人脸信息与所述标准人脸信息匹配，则在所述智能柜台端的显示界面的信息录入框中显示所述语音识别结果。

7.根据权利要求6所述的装置，其特征在于，所述执行单元，包括：

获取子单元，用于获取初始神经网络模型以及训练数据集；所述训练数据集包括多个历史用户图片；

执行子单元，用于应用预设的生成对抗网络对所述训练数据集中的每个所述历史用户图片进行数据增强，获得目标训练数据集；

训练子单元，用于利用所述目标训练数据集对所述初始神经网络模型进行训练，获得神经网络模型。

8.根据权利要求6所述的装置，其特征在于，所述执行单元，包括：

特征提取单元，用于通过预先构建神经网络模型的特征提取模块提取所述用户视频中的每一视频帧的视频帧空间特征和时间特征，

输出单元，用于通过预先构建神经网络模型的输出模块基于各个所述视频帧的视频帧空间特征和时间特征，输出所述用户视频的人脸信息。