[发明专利]具有颗粒化注意力的层次神经网络

权利要求书

1.一种利用一个或多个处理器来实施以生成文档的一个或多个分类的方法，包括：

获得(102)指示所述文档的数据；

使用双粒度注意力机构在层次网络模型的两个或更多个层中的第一层中处理(104)指示所述文档的所述数据以生成第一层输出数据，其中，所述双粒度注意力机构在所述第一层中更重地加权指示所述文档的所述数据的一些部分，其中，所述一些部分在所述双粒度注意力机构的训练期间被集成到所述层次网络模型中；

在所述层次网络模型的两个或更多个层中的第二层中处理(106)所述第一层输出数据以生成第二层输出数据；并且

根据所述第二层输出数据来生成(108)分类标签。

2.根据权利要求1所述的方法，其中，所述层次网络模型的所述两个或更多个层包括词语层和句子层。

3.根据权利要求2所述的方法，其中，所述层次网络模型的所述两个或更多个层还包括字符层、章节层和文档层。

4.根据权利要求1所述的方法，其中，生成所述分类标签还包括将所述第二层输出数据馈送到柔性最大值函数中。

5.根据权利要求1所述的方法，其中，所述双粒度注意力机构还包括注意力历史和领域特异性注意力历史，其中，所述注意力历史与所述层次网络模型的所述第一水平相对应，并且所述领域特异性注意力历史与所述层次网络模型的所述第二层相对应。

6.根据权利要求5所述的方法，其中，所述双粒度注意力机构由所述一个或多个处理器通过以下公式来确定：

e_t＝a(h_t,h′_t)

其中，e是注意力值，a是可学习函数，h是所述注意力历史，h'是所述领域特异性注意力历史，α是概率向量，T是总时间步数，t是时间，k是时间，并且c是加权平均值。

7.根据权利要求6所述的方法，其中，所述领域特异性注意力历史被预填充有对应于特定领域中的知识的嵌入物。

8.根据权利要求3所述的方法，其中，所述字符层还包括字符长短期记忆(“LSTM”)层，其中，字符双粒度机构被应用于所述字符LSTM层，所述词语层还包括词语LSTM层，其中，词语双粒度机构被应用于所述词语LSTM层，所述句子层还包括句子LSTM层，其中，句子双粒度机构被应用于所述句子LSTM层，并且所述章节层还包括LSTM层，其中，章节双粒度层被应用于所述章节LSTM层。

9.至少一种非瞬态计算机可读介质，其存储机器学习模型以生成文档的一个或多个分类，其中，使用以下过程来训练所述模型：

获得(202)指示所述文档的一组训练数据；

使用指示所述文档的所述一组训练数据，利用双粒度注意力机构来训练(206)层次网络模型的两个或更多个层，其中，利用所述层次网络模型的所述两个或更多个层来训练所述双层注意力机构中的第一层，并且利用指示领域特异性知识的数据来预填充所述双粒度注意力机构中的第二层；

获得(102)指示所述文档的数据；

使用所述双粒度注意力机构在层次网络模型的两个或更多个层中的第一层中处理(104)指示所述文档的所述数据以生成第一层输出数据，其中，所述双粒度注意力机构在所述第一层中更重地加权指示所述文档的所述数据的一些部分；

在所述层次网络模型的两个或更多个层中的第二层中处理(106)所述第一层输出数据以生成第二层输出数据；并且

根据所述第二层输出数据来生成(108)分类标签。

10.根据权利要求9所述的至少一种非瞬态计算机可读介质，其中，所述层次网络模型的所述两个或更多个层包括词语层和句子层。

11.根据权利要求10所述的至少一种非瞬态计算机可读介质，其中，所述层次网络模型的所述两个或更多个层还包括字符层、章节层和文档层。