[发明专利]使用机器学习检测合成图像内的组成图像

说明书

本申请涉及使用机器学习检测合成图像内的组成图像。公开了用于训练机器学习模型以识别合成图像内的组成图像的系统和方法。在一个实现方式中，生成合成图像，其中，所述合成图像包括第一部分和第二部分，所述第一部分包含第一组成图像的像素数据，所述第二部分包含第二组成图像的像素数据。生成包括所述合成图像的像素数据的第一训练输入和针对所述第一训练输入的第一目标输出，其中，所述第一目标输出识别所述第一部分在所述合成图像内的位置。提供所述训练数据，以在(i)包括所述第一训练输入的训练输入集合和(ii)包括所述第一目标输出的目标输出集合上训练所述机器学习模型。

技术领域

本公开的一些方面和实施方式涉及图像处理，并且更具体地，涉及检测合成图像(composite image)内的组成图像(constituent image)，例如，检测画面的哪个部分包括上传视频的嵌入帧。

背景技术

内容共享平台使得用户能够上传、消费、搜索、称赞(“点赞”)、点踩和/或评论诸如视频、图像、音频剪辑、新闻故事等的内容。图像通常包括以诸如二维阵列的特定布置组织的多个图片元素(例如，像素)，并且视频通常包括被称为帧的一系列图像。

发明内容

以下展示了本公开的各个方面的简要概述，以提供对这些方面的基本理解。本发明内容并非是对所有预期方面的广泛概述，并且既不旨在确定关键或至关重要的要素，也没有勾勒这些方面的范围。其唯一目的是，以简化形式展示本公开的一些构思，作为稍后呈现的更详细描述的序言。

在本公开的一个方面中，公开了用于训练机器学习模型(例如，神经网络、支持向量机[SVM]等)并且使用经训练的模型来处理图像的系统和方法。在一个实施方式中，一种用于训练机器学习模型以识别合成图像内的组成图像的方法包括：生成针对所述机器学习模型的训练数据，其中，生成所述训练数据包括：生成合成图像，所述合成图像包括第一部分和第二部分，所述第一部分包含第一组成图像的像素数据，所述第二部分包含第二组成图像的像素数据；生成第一训练输入，所述第一训练输入包括所述合成图像的像素数据；以及生成针对所述第一训练输入的第一目标输出，其中，所述第一目标输出标识所述第一部分在所述合成图像内的位置。所述方法还包括：提供所述训练数据，以在(i)包括所述第一训练输入的训练输入集合和(ii)包括所述第一目标输出的目标输出集合上训练所述机器学习模型。

在一些实施方式中，所述合成图像的所述第二部分围绕所述合成图像的所述第一部分。在一些实施方式中，所述第一组成图像是第一视频的帧，所述第二组成图像是第二视频的帧。在一些实施方式中，所述第一部分在所述合成图像内的位置包括所述第一组成图像的左上角的坐标和所述第一组成图像的右下角的坐标。在一些实施方式中，所述训练输入集合中的每个训练输入被映射到所述目标输出集合中的目标输出。在一些实施方式中，所述机器学习模型被配置成处理新图像并且生成一个或多个输出，所述一个或多个输出指示(i)所述新图像是包括组成图像的合成图像的置信度、以及(ii)所述组成图像在所述新图像内所在的空间区域。

在本公开的一方面，一种方法包括：接收输入图像；使用经训练的机器学习模型来处理所述输入图像；以及基于使用所述经训练的机器学习模型来处理所述输入图像来获得一个或多个输出，所述一个或多个输出指示(i)所述输入图像是包括组成图像的合成图像的置信度、以及(ii)在所述输入图像内包含所述组成图像的空间区域。在一些实施方式中，所述方法还包括确定置信度满足阈值条件，以及从所述输入图像内的所述空间区域中提取所述组成图像。(该机器学习模型可以是已经根据上述方面被训练)。在其他实施方式中，例如，通过创建所提取的组成图像的指纹，并且将所创建的指纹与至少一个其他图像的指纹进行比较，可以在图像比较技术中或内容检测技术中使用所提取的组成图像。在一个示例中，将所创建的指纹与至少一个其他图像的指纹进行比较可包括将所创建的指纹与所存储的多个图像的指纹进行比较，以确定组成图像是否与多个图像中的任一个相似。