[发明专利]基于自然语言理解的多模态会议评价系统和方法

权利要求书

1.一种基于自然语言理解的多模态会议评价系统，其特征在于，包括信息采集模块、智能模块以及输出模块；

所述采集模块，收集会议信息、对参会者行为和信息；

智能模块，对采集模块收集到的信息进行提取、加工、分析，对会议进行分析、推理、决策并对会议进行综合评判；

输出模块，按预定的模板格式将智能模块的评判结果输出为评价报告。

2.根据权利要求1所述的一种基于自然语言理解的多模态会议评价系统，其特征在于，所述采集模块可以基于视频会议软件进行会议信息、参会者行为和信息的收集。

3.根据权利要求1所述的一种基于自然语言理解的多模态会议评价系统，其特征在于，所述采集模块为硬件模块，包括可覆盖到整个会议室的摄像头模组以及麦克风阵列；

摄像头模组，收集会场各位参会者的表情和行为等信息，结合人脸识别、情绪识别算法对参会人和整个会议从视觉维度上进行评估；

麦克风阵列，用于采集音频信息，采集的音频信息通过语音识别、声纹识别、音频情绪识别等从音频维度评估会议。

4.根据权利要求1或2所述的一种基于自然语言理解的多模态会议评价系统，其特征在于，智能模块包含语义理解和多模态分析功能，从音频识别出的文字和声纹信息绑定具体的一个参会人的讲话输出，并结合整个会议的所有人的表达输出来评估会议，多模态分析模块结合视频、音频和文字等信息，由多模态分析模型推理出对应的评估结果。

5.一种基于权利要求1-4任一项所述基于自然语言理解的多模态会议评价系统的评价方法，其特征在于，包括以下步骤：

步骤一，采集会议信息、会场各位参会者的表情和行为以及音频信息；

步骤二，将步骤一中采集到的信息输入多模态分析模型并结合会议类型进行推理运算、融合运算，得出评价结果；

步骤三，将步骤二中的评价结果按预定的模板格式输出为评价报告。

6.根据权利要求5所述的一种基于自然语言理解的多模态会议评价方法，其特征在于，步骤二中的多模态分析模型首先由人工标注输出的中间状态和最终状态，在真实的评价场景中也不断收集训练数据，在线训练和优化模型。

7.根据权利要求5所述的场景智能搜索终端，其特征在于，步骤二中多模态分析模型根据会议类型的对应维度和权重进行推理运算、融合运算。