[发明专利]一种基于异质架构的实时语言转换装置及转换方法

说明书

技术领域

本发明属于语言数据处理技术领域，尤其涉及一种基于异质架构的实时语言转换装置及转换方法。

背景技术

随着中国经济越来越融入经济全球一体化的发展，使得跨国、跨语言的交流越来越多，比如在国际会议中，人们需要与各国进行日益频繁的国际交流，不仅仅是英文的交流，还包括葡萄牙文，德文，法文，俄文等多种语言，虽然目前大部分人们尽量转为英文去沟通，但语言交流仍达不到理想的效果，导致日常交流会有困难。

针对上述使用中的不足，一种是在现场部署同声翻译人员，但这样只适合会议场合，在自由交流场合无法使用；另一种方式是基于云服务，通过移动终端输入语音数据，然后将语音数据上注到云服务器中，通过云服务器完成语言的识别，并通过网络数据库查找相应内容完成翻译，这种通过云服务进行翻译的方式，网络的好坏对使用产生较大影响，当网络不稳定时，容易造成用户等待延时，影响用户使用效果，无法满足用户个性化的需求和体验。

相对现有的实时语言处理中技术，该实时语言转换装置可以灵活实现多种语言的实时转换，同时摆脱对同声翻译人员的需求，同时无需网络云服务的支持，解决了网络好坏带来的对实时效果的影响，并且利用异质架构实现对语音数据加速处理，保证了语言数据的低延迟和实时转换。

综上所述，现有技术存在的问题是：当网络不稳定时，容易造成用户等待延时，影响用户使用效果，无法满足用户个性化的需求和体验。

发明内容

为解决现有技术存在的问题，本发明提供一种基于异质架构的实时语言转换装置及转换方法。

本发明是这样实现的，一种基于异质架构的实时语言转换方法，所述基于异质架构的实时语言转换方法包括以下步骤：

步骤一，设备获取用户指定的输入语言和输出语言的编号；

步骤二，用户通过设备输入语音，设备进行识别，并显示在屏幕上面；

步骤三，用户判断显示的识别结果是否正确，对不正确的进行手动纠正；

步骤四，设备根据识别结果或者输入的文字，基于数据库进行机器翻译；

步骤五，设备将翻译的结果显示在屏幕上，或者基于合成语音数据库，将合成语音通过语音输出设备输出。

进一步，在步骤一中，设备获取指令后将语言转换数据库调入内存，并对FPGA进行配置，在可编程FPGA中构建完成多种类型的多层神经网络结构，并对其中权值等参数进行初始化；

所述构建完成多种类型的多层神经网络结构，具体包括：

在可编程器件中可构建起多层节点，以及节点之间的互联关系，同时在内存芯片中存储权值，每一层包含若干个神经元，每个神经元包含一个而阈值θ_j，用来改变神经元的活性；网络中的弧线W_ij表示前一层神经元和后一层神经元之间的权值对于隐藏层和输出层的输入每个节点，如下述公式：

通过对上层数据进行卷积，并建立激励函数f()来模拟神经网络信号的响应，在可编程逻辑器件中完成对上层神经节点的响应。

进一步，步骤二中，设备基于异质架构神经网络对输入的语音数据进行识别；

所述进行识别具体包括：

通过CPU直接将基本的神经网络参数调入到内存芯片中，通过异构架构读取内存芯片中这些缺省的参数快速进行神经网络的信息传播，依靠FPGA的并行处理能力快速完成卷积运算，依靠CPU运行部分算法不断调整变量参数，同时其中部分权值变量存储在外部的内存芯片中并通过可编程逻辑电路快速读取和更新，最后在输出层输出特征值，从而实现语言数据的特征识别和提取；所述卷积运算公式为：

进一步，步骤三，根据用户输入语音数据以及用户确认的识别结果，基于异质架构神经网络对用户输入语音数据以及用户确认的识别结果进行学习，并调整参数，从而不断适应个人语音特点。

所述进行学习，并调整参数，具体包括：

系统根据用户确认的正确结果得到训练值T_j，对神经网络反向传播学习，从而调整神经网络权值，输出层每个单元j的误差值可如下，

Err_j＝O_j(1-O_j)*(T_j-O_j)，

由最后一个到第一个隐藏层，对于隐藏层每个单元j误差值如下

Err_j＝O_j(1-O_j)*∑_kErr_k*W_ij，