在 2024 年 8 月 7 日，一种名为 “Matting by Generation” 的新型图像抠图方法引起了广泛关注。这种方法利用图像生成模型来实现图像抠图，无需任何额外输入，仅凭单张输入图像即可自动提取前景并生成边界细节。该方法在处理复杂的边界细节（如头发、鞋带等）方面表现良好。
Matting by Generation 方法的核心在于利用潜在扩散模型取代传统的回归神经网络。潜在扩散模型通过生成对抗网络（GAN）来生成前景和背景图像。具体来说，生成器负责生成前景和背景图像，而判别器则用于区分生成的图像和真实图像。通过不断优化生成器和判别器，最终实现图像抠图效果。
与传统的抠图方法相比，Matting by Generation 方法在精度和效率上有所提升。传统方法通常需要用户提供额外的输入，如三值图或其他辅助信息，而这种新方法仅需单张输入图像即可自动完成抠图。此外，该方法还可以结合文本描述、简单的图像标记和涂鸦等辅助信息，更准确地识别前景和背景。例如，可以用一句话描述图像中的前景，或者用简单的线条标记出前景区域，模型就能根据这些提示生成前景图像。
潜在扩散模型的应用使得抠图结果更加精确、细节更丰富。通过结合大量预训练的知识，模型能够生成边界效果，特别是在处理复杂的边界细节（如头发、鞋带等）方面表现良好。这一技术的突破不仅提升了图像处理的效率，还为图像编辑、视频处理、虚拟现实和增强现实等领域带来了新的可能性。
在实际应用中，Matting by Generation 方法已经在多个数据集上表现良好。实验结果表明，该方法能够生成前景和背景图像，并且在处理复杂背景和细节丰富的前景时表现良好。例如，在一个包含复杂背景和细节丰富前景的图像数据集中，Matting by Generation 方法生成的图像边界细节接近真实感，优于传统的抠图方法。