[发明专利]一种面向自然语言处理的基于循环学习单元的HTM设计方法

权利要求书

1.一种面向自然语言处理的基于循环学习单元的HTM设计方法，其特征在于，包括以下步骤：

步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；

步骤1中主要包括以下步骤：

步骤1.1，收集公开的自然语言训练语料，或者收集某个特定领域的大量自然语言编写的文章作为自然语言语料；

步骤1.2，将收集的自然语言语料，进行字和词的拆分，构成具有前后顺序关系的一组由字或词构成的序列，使其包含字或词之间的时序特性；

步骤1.3，将这组由字或词构成的序列，作为一种面向自然语言处理的基于循环学习单元的HTM设计方法的输入，有其进行学习和分析；

步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；

步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；

步骤4，完成对自然语言语料的分析，输出对自然语言的处理结果；

所述步骤2中主要包括以下步骤：

步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；

步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；

步骤2.3，计算循环学习单元在t时刻的隐藏层计算方法如下：

表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；W_hx和W_hh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，b_h是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；

步骤2.4，计算循环学习单元在t时刻的输出计算方法如下：

σ表示循环学习单元输出层的激活函数，W_yh表示循环学习单元中隐藏层和输出层之间的权重矩阵；

步骤2.5，计算循环学习单元在t时刻的预测值计算方法如下：

步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：

表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数；

所述步骤3中主要包括以下步骤：

步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；

步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：

步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：

其中,θ为[W_hx,W_hh,W_yh,b_h],θ_new表示θ经过训练后最小误差处理后的新值,λ是学习率,表示对函数的某个变量求偏导数。