2024 年 8 月 23 日，阿里和华东师大团队推出了一款名为 “画家”（Painter）的 AI 工具，能够在图像的局部添加新的元素或改变原有图像，几乎兼容所有的文生图（text-to-image）模型。用户只需输入提示词并在图像上绘制相应区域，便能实现复杂的图像修改需求。
在演示视频中，用户输入 “书” 的提示词，然后在想要出现书的位置画一笔，桌子上就出现了一本书。再比如，输入 “皇冠戴在猫上” 的提示词，手动在想要出现皇冠的位置画一笔，Painter 依然在小猫头上添加了皇冠。即使是复杂的要求，例如让人物的一半头发变红色，另一半变蓝色，Painter 也能实现。
该工具并非实时渲染的，需要把代码下载到本地运行，因此可能对配置有一定要求。此外，团队成员提到，该工具的在线 Demo 很快就会上线。
文生图技术的核心在于通过自然语言处理和计算机视觉技术，将文字描述转化为图像。近年来，生成对抗网络（GANs）和扩散模型（Diffusion Models）在这一领域取得了进展，使得 AI 能够生成高质量、逼真的图像。Painter 工具正是利用了这些技术，通过用户输入的提示词和绘制的区域，实现对图像的局部修改。
Painter 工具的工作原理主要包括以下几个步骤：
- 用户输入提示词，系统通过自然语言处理技术解析提示词的含义，确定需要生成的图像元素。
- 用户在图像上绘制希望修改的区域，系统通过计算机视觉技术识别绘制区域的位置和形状。
- 系统结合提示词和绘制区域，利用文生图模型生成相应的图像元素，并将其无缝融合到原图中。
例如，当用户输入 “红色头发” 并在图像左侧绘制区域时，系统会生成红色头发并应用到左侧区域。当用户再次输入 “蓝色头发” 并在右侧绘制区域时，系统会生成蓝色头发并应用到右侧区域，同时保留左侧的红色头发。
Painter 工具的应用场景包括：
- 用户可以利用 Painter 工具修改照片，添加创意元素，制作个性化的图像。
- 广告设计师可以利用 Painter 工具生成广告素材，调整产品展示效果，满足不同市场和促销活动的需求。
- 社交媒体用户可以利用 Painter 工具制作图片和视频，增强内容的视觉效果，吸引更多的关注和互动。
- 在线零售商可以利用 Painter 工具定制产品图片，展示不同选项或变化，为客户提供更丰富的视觉体验。
自 Painter 工具发布以来，许多用户在社交平台上分享了他们使用 Painter 工具的体验和作品。