[发明专利]用于从多模态源自动产生和更新知识图谱的设备和方法

权利要求书

1.一种用于从一个或多个多模态源自动产生和更新知识图谱的设备，其特征在于，所述设备包括：

说话人分类模块，其被配置成用于：将输入音频流划分为音频片段；将所述音频片段的讲者分类为代理人或客户；以及基于说话人分类而将所述音频片段分类；

音频转录模块，其被配置成用于基于声学模型将所述经分类的音频片段转录成转录本；

语音解析模块，其被配置成用于：

从所述转录本提取目标实体和关系模式元；以及

用来自领域特定语言模型的多种预定义标签标记与所提取的目标实体对应的所述转录本的字词；

会话解析模块，其被配置成用于：

利用所述转录本的带标记的字词更新动态信息字集V_D；

基于来自所述转录本的所提取的关系模式元更新静态信息字集V_S；

从所述领域特定语言模型检索一个或多个语句模式；以及

基于所述动态信息字集V_D、所述静态信息字集V_S和所述一个或多个语句模式而产生成对的问题和解答；以及

知识图谱载体，其被配置成用于通过以下操作来更新知识图谱：

接收所提取的目标实体和关系模式元；

将所提取的目标实体表示为所述知识图谱中的节点；以及

将所提取的关系模式元表示为所述知识图谱中的节点之间的边标签。

2.根据权利要求1所述的设备，其特征在于，

所述语音解析模块被进一步配置成用于：从文章提取目标实体和关系模式元；以及用来自领域特定语言模型的多种预定义标签标记与所提取的目标实体对应的所述文章的字词；以及

所述会话解析模块被进一步配置成用于：利用所述文章的带标记的字词更新所述动态信息字集V_D；以及基于来自所述文章的所提取的关系模式元而更新所述静态信息字集V_S。

3.根据权利要求1所述的设备，其特征在于，所述输入音频流为视频流的音轨。

4.根据权利要求1所述的设备，其特征在于，所述领域特定语言模型通过以下操作产生：

利用词汇词典来归纳术语表和语料库以形成通用语言模型；以及

基于启发式加权而插入具有预定义的领域特定知识的所述通用语言模型，以产生所述领域特定语言模型。

5.根据权利要求1所述的设备，其特征在于，

所述会话解析模块为利用基于区域的注意力算法训练以用于遍及所述转录本中的语句提取所述目标实体的机器学习模块；

所述基于区域的注意力算法通过限定具有语句内信息和语句间信息的区域；且基于所限定的区域优化目标函数来制定。

6.根据权利要求5所述的设备，其特征在于，所述语句内信息通过由以下公式给出的语句内注意力算法来更新：

R_ia＝BLSTM_t(X)，

其中BLSTM_t()为用于语句内注意力的双向长短期记忆函数，且X为表示带标记的转录本中的一组字词的输入字词向量；且R_ia为语句内注意力输出向量。

7.根据权利要求5所述的设备，其特征在于，所述语句间信息通过由以下公式给出的语句间注意力算法来更新：

V_ir＝BLSTM_l(∑_LΠ_Tα_τγ_τ)，

其中BLSTM_l()为用于语句间注意力的双向长短期记忆函数，α_τ为参数向量，且γ_τ为语句内注意力输出向量，且V_ir为语句间注意力输出向量。