[发明专利]一种数据处理方法和装置、一种用于数据处理的装置

权利要求书

1.一种数据处理方法，其特征在于，用于问答交互的处理，所述方法包括：

确定目标实体图像对应的目标语音序列和目标图像序列；所述目标图像序列对应的模式包括：倾听模式、或者回答模式；在问题的输入过程中，所述目标图像序列对应的模式为倾听模式，所述目标图像序列对应第二实体状态，用于表征输出倾听状态文本情况下的实体状态；或者，在问题的输入完成后，所述目标图像序列对应的模式为回答模式，所述目标图像序列对应第一实体状态，用于表征输出答案文本情况下的实体状态；

对所述目标语音序列和所述目标图像序列进行融合，得到对应的目标视频，以向用户输出所述目标视频；所述目标视频包括：倾听模式对应的第一目标视频和回答模式对应的第二目标视频；

其中，依据衔接图像样本的学习，对所述目标图像序列对应的模式进行切换；所述衔接图像样本包括：依次出现的倾听模式对应的图像样本、以及回答模式对应的图像样本；所述衔接图像样本还包括：依次出现的回答模式对应的图像样本、以及倾听模式对应的图像样本。

2.根据权利要求1所述的方法，其特征在于，所述目标图像序列对应的图像特征包括如下特征中的至少一种：

表情特征；

唇部特征；以及

肢体特征。

3.根据权利要求1所述的方法，其特征在于，所述确定目标实体图像对应的目标语音序列和目标图像序列，包括：

依据问题相关文本，确定目标实体图像对应的目标语音序列和目标图像序列。

4.根据权利要求3所述的方法，其特征在于，所述确定目标实体图像对应的目标语音序列和目标图像序列，包括：

确定所述问题相关文本对应的目标语音序列；

依据语音特征序列与图像特征序列之间的映射关系，确定所述目标语音序列对应的目标图像序列；所述映射关系中所述语音特征序列与所述图像特征序列在时间轴上对齐；所述映射关系为依据时间轴对齐的语音样本和图像样本得到。

5.根据权利要求3所述的方法，其特征在于，所述确定目标实体图像对应的目标语音序列和目标图像序列，包括：

确定问题相关文本对应的时长特征；

依据所述时长特征，确定所述问题相关文本对应的目标语音序列；

依据所述时长特征，确定所述问题相关文本对应的目标图像序列；所述目标图像序列为依据文本样本及其对应的图像样本得到。

6.根据权利要求3所述的方法，其特征在于，所述目标图像序列对应的肢体特征为依据所述问题相关文本对应的语义特征得到。

7.根据权利要求1至6中任一所述的方法，其特征在于，在所述对所述目标语音序列和所述目标图像序列进行融合之前，所述方法还包括：

对所述目标图像序列中预设区域的边界进行补偿。

8.根据权利要求1至6中任一所述的方法，其特征在于，所述方法还包括：

向用户输出所述目标视频；或者

向用户输出所述目标视频的链接；或者

向用户输出所述目标语音序列、或者所述目标语音序列的链接；或者

向用户输出问题相关文本。