当前位置: 首页>后端>正文

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ

? ??

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第1张

深度(Depth)

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第2张

ControlNet的Depth模式是一种功能,它可以帮助用户生成深度图,即图像中各个场景区域的距离图。

在Depth模式中,用户可以通过多种预处理器进行深度图的生成,例如”depth_midas”和”depth_leres”等。这些预处理器可以将原图进行区域划分,根据灰阶色值的不同,区分出图像中元素区域的远近关系。

使用Depth模式的具体操作如下:

选择需要处理的图像,并将其上传到ControlNet中。

在Depth选项卡中选择合适的预处理器,例如”depth_midas”或”depth_leres”。

点击”启动”、”Pixel Perfect”和”Allow Preview”按钮,此时ControlNet会自动对图像进行处理,并生成深度图。

从预览图中可以看到处理后的深度图效果,此时可以输入关键词并生成新的图像。

在生成的深度图中,不同的灰阶色值表示不同的距离。例如,灰阶数值0的区域表示图像中最远的区域,而灰阶数值255的区域表示图像中最近的区域。因此,通过观察深度图,用户可以更好地理解图像中各个元素之间的距离关系。

如下图所示:即为我们的小狗的深度图

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第3张

ControlNet提供了以下几个预处理器模型,我们来简单看一下每个模型的区别吧:

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第4张

· MiDaS 深度信息估算

点击生成,我们会得到以下深度信息图:

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第5张

ControlNet的Depth模式能够生成深度图,帮助用户更好地理解图像中各个元素之间的距离关系。MiDaS深度信息估算是一种常用的预处理器,它能够通过控制空间距离来更好地表达较大纵深的风景的远近关系。此外,Depth模式还可以生成遮罩蒙版,帮助用户更好地控制图像中不同元素的显示效果。

· LeReS 深度信息估算

点击生成,我们会得到以下深度信息图:

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第6张

LeReS方法的成像焦点位于中间景深层,这使得它能够更好地捕捉中距离物品的边缘细节,并且在处理图像时能够拥有更远的景深。因此,当需要突出中景细节或者对整体深度感有更高要求时,可以选择使用LeReS方法。

然而,LeReS方法在处理近景图像时可能会产生一些模糊,特别是近景物品的边缘部分。因此,如果近景细节是关键或者画面中有大量的近景内容时,可能需要考虑使用MiDaS方法。

·Zoe深度信息计算

点击生成,我们会得到以下深度信息图:

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第7张

在ControlNet中,Zoe深度信息计算可以帮助用户更好地理解和处理图像中的深度信息。

具体来说,Zoe深度信息计算是一种相对深度估计和绝对深度估计相结合的方法,它可以估计图像中每个像素的深度信息。

通过这种方式,Zoe深度信息计算能够将已有数据集的深度信息转移到新的目标数据集上,从而实现零样本(Zero-shot)深度估计。

在ControlNet中,Zoe深度信息计算可以作为一个预处理器或者一个模块来使用,它可以帮助用户更好地理解图像中的深度信息,从而更好地控制和处理图像生成、分割、增强等任务。

例如,在图像生成任务中,通过结合Zoe深度信息计算,用户可以更好地控制生成图像的深度信息,从而生成更加真实、准确的图像。

此外,Zoe深度信息计算还可以用于图像分割和增强等任务中,帮助用户更好地处理图像中的深度信息,提高处理效果和速度。

·【MiDaS 深度信息估算】、【LeReS 深度信息估算】和【Zoe深度信息计算】的区别

MiDaS、LeReS和Zoe深度信息计算都是深度估计的方法,它们之间的区别如下:

MiDaS是一种基于神经网络的深度估计方法,旨在从图像中推断出场景中物体的距离信息。它通过Encoder和Decoder两个主要组件来实现从输入图像到深度图的映射。MiDaS的优点包括能够在单个前向传播过程中生成高质量的深度图,并且具有较低的计算成本。相比于传统的基于立体匹配的方法,MiDaS不需要额外的视差图或多视角图像,只需输入单张RGB图像即可完成深度估计,这使得它在实际应用中更加灵活和高效。此外,MiDaS还具有一定的泛化能力,可以处理不同场景和物体的深度估计。

LeReS深度信息估算也是用于检测图片的景深和光影的深度估计方法,但相对于MiDaS,其精度更高,出图时间也更长。

Zoe深度信息计算是一种结合了度量深度估计和相对深度估计的方法,可以用于估计图像中每个像素的深度信息。它能够将已有数据集的深度信息转移到新的目标数据集上,从而实现零样本(Zero-shot)深度估计。

提示词:【cutedog】

CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解(Depth篇) 从理论到实践 PART.Ⅲ,第8张

https://www.xamrdz.com/backend/3v91921751.html

相关文章: