[发明专利]图像合成方法、装置、电子设备及存储介质

说明书

本发明涉及音视频通信技术领域，具体涉及图像合成方法、装置、电子设备及存储介质，所述方法包括获取第一帧率采集的背景图像以及第二帧率采集的前景图像信息，所述第一帧率小于第二帧率；基于第二帧率对第一帧率采集的背景图像进行扩展，得到对应于第二帧率的背景图像；将对应于第二帧率的背景图像与第二帧率采集的前景图像信息进行合成，确定第一合成图像；发送第一合成图像。对于不同帧率采集的背景图像与前景图像信息，通过对较小采集帧率采集到的背景图像进行扩展，使得扩展后的背景图像是与第二帧率对应的，从而就可以得到采集帧率相同的背景图像与前景图像信息，将两者合成之后再发送，可以保证在接收端背景图像与前景图像信息的显示同步。

技术领域

本发明涉及音视频通信技术领域，具体涉及图像合成方法、装置、电子设备及存储介质。

背景技术

在视频会议、远程教育等实时音视频通信过程中，往往需要将电脑的整个屏幕(或某个应用程序窗口)共享给与会方，比如播放文档或讲稿。在屏幕共享的过程中，除了共享播放文档或讲稿之类的背景图像之外，还需要将变化的前景图像，例如鼠标、笔迹等实时传输给与会方。目前常规的做法就是在采集屏幕图像的同时采集鼠标信息，并将两者叠加在一起作为一帧图像发送出去。当连续采集该图像发送的时候，就形成了动态的视频。

如果采集的频率较高(比如30帧/秒)，则对电脑屏幕采集和视频编码的性能以及网络传输的带宽都提出了很高的要求。比如1080p的桌面分辨率，按30帧/秒的话，为保证文字清晰，至少需要4～8Mbps的网络传输带宽。因此，很多实际应用中就降低屏幕采集的帧率至5帧/秒。因为屏幕共享主要用于文档或讲稿等背景图像的观看，画面变化不大，因此帧率低一点问题也不大。但是若屏幕上的前景图像也按5帧/秒传输的话，就会明显感觉到前景图像的位置跳跃晃动，给视觉上带来非常严重的不适感。

发明内容

有鉴于此，本发明实施例提供了一种图像合成方法、装置、电子设备及存储介质，以解决采集帧率不同导致的背景图像与前景图像的显示问题。

根据第一方面，本发明实施例提供了一种图像合成方法，包括：

获取第一帧率采集的背景图像以及第二帧率采集的前景图像信息，所述第一帧率小于所述第二帧率；

基于所述第二帧率对所述第一帧率采集的背景图像进行扩展，得到对应于所述第二帧率的背景图像；

将对应于所述第二帧率的背景图像与所述第二帧率采集的前景图像信息进行合成，确定第一合成图像；

发送所述第一合成图像。

本发明实施例提供的图像合成方法，对于不同帧率采集的背景图像与前景图像信息，通过对较小采集帧率采集到的背景图像进行扩展，使得扩展后的背景图像是与第二帧率对应的，从而就可以得到采集帧率相同的背景图像与前景图像信息，将两者合成之后再发送，一方面可以保证在接收端背景图像与前景图像信息的显示同步，另一方面减少了数据传输量。

结合第一方面，在第一方面第一实施方式中，所述第二帧率为所述第一帧率的整数倍，所述基于所述第二帧率对所述第一帧率采集的背景图像进行扩展，得到对应于所述第二帧率的背景图像，包括：

利用所述第二帧率与所述第一帧率的大小关系，确定扩展系数；

基于所述扩展系数对所述第一帧率采集的背景图像进行扩展，确定对应于所述第二帧率的背景图像。

本发明实施例提供的图像合成方法，基于第二帧率与第一帧率的大小关系确定出扩展系数，保证了扩展系数的准确性，可以有效保证对应于第二帧率的背景图像与第二帧率采集的前景图像信息的同步。

根据第二方面，本发明实施例还提供了一种图像合成方法，包括：

获取第一帧率采集的背景图像以及第二帧率采集的前景图像信息，所述第一帧率小于所述第二帧率；