在图像编辑的世界里,调整材料属性一直都是一项复杂且充满挑战的工作。麻省理工学院的计算机科学与人工智能实验室(CSAIL)和 Google Research 的研究团队最近推出了一款名为 “Alchemist” 的新工具。Alchemist 模型让用户可以在不损失照片真实感的情况下,对图像中对象的材料属性进行精细调整。用户可以通过简单的操作,线性调整粗糙度、金属度、反照率和透明度等属性,实现对图像细节的高度控制。
Alchemist 模型是由麻省理工学院计算机科学与人工智能实验室(CSAIL)和 Google Research 团队联合开发的,目标是实现对图像中物体材料属性的细腻调整。这个模型基于扩散模型的图像到图像转换技术,通过调节物体的材料属性,比如粗糙度、金属度、反照率和透明度,生成新的视觉效果。Alchemist 模型利用扩散模型的生成先验,通过标量值和指令来改变低级材料属性。扩散模型的机制有点像逐步去噪,从随机噪声开始,逐渐生成逼真的图像。Alchemist 在此基础上增加了额外的输入通道,通过一个基于指令的过程,平滑地编辑图像中物体的材料属性,同时保持图像的高级语义和其他信息。
Alchemist 模型允许用户在 – 1 到 1 的连续范围内调整每种材料属性。具体实现方式包括:
- 调整物体表面的微观结构,让它看起来更光滑或更粗糙。
- 改变物体的金属质感,让它看起来更像金属制品。
- 调节物体表面的反射特性,使其看起来更亮或更暗。
- 改变物体的透明程度,让它看起来更透明或更不透明。
通过调整粗糙度参数,Alchemist 模型可以让物体表面从光滑变为粗糙。比如,可以让一个茶壶的表面变得更加粗糙,增加其质感。通过调整金属度参数,Alchemist 模型能改变物体的金属质感。举个例子,可以让《宝可梦》中的喷火龙看起来更像是由金属制成的。反照率的调整可以改变物体的表面反射特性,让它看起来更亮或更暗。比如,可以让一个苹果的表面反射更多光,使其看起来更加鲜艳。透明度的调整则能让物体变得更加透明或不透明。例如,可以让《星球大战》中的尤达看起来更加透明。
Alchemist 模型的这些功能不仅在图像编辑中有广泛应用,还能用于改进视频游戏模型、增强视觉特效,以及丰富机器人的训练数据。传统图像编辑方法常常需要手动调整和复杂的逆渲染技术,不仅耗时,还对用户的专业技能要求极高。而 Alchemist 模型则通过参数化编辑,实现了对图像中材料属性的线性调整,让图像编辑变得更加直观和高效。用户只需调整参数,就能改变物体的粗糙度、金属度、反照率和透明度等属性,无需深入了解复杂的图像处理技术。
Alchemist 模型不仅在图像编辑中表现出色,还在视频游戏和机器人等领域展现了潜力。游戏开发者可以利用该模型快速调整游戏中物体的材质属性。而在机器人领域,Alchemist 模型能够帮助机器人更好地理解和识别不同材质的物体。
Alchemist 模型的开发基于计算机视觉和图形学中的最新研究成果,特别是扩散模型和生成先验技术。研究团队通过在合成数据集上微调预训练的文本到图像模型,成功实现了对真实图像中材料属性的精确控制。