当前位置: 首页>后端>正文

Stable Diffusion:最先进的文本生成图像模型

Stable Diffusion 是一种图像生成模型,可以在给定原始输入文本的情况下生成逼真的图像。您可以使用 Stable Diffusion 来生成逼真的艺术作品或库存图像。

Stable Diffusion:最先进的文本生成图像模型,第1张

稳定扩散

生成式 AI 技术正在迅速发展,现在可以简单地根据文本输入生成文本和图像。Stable Diffusion 是一种文本到图像模型,使您能够创建逼真的应用程序。

扩散模型通过学习去除添加到真实图像中的噪声进行训练。这种降噪过程会产生逼真的图像。这些模型还可以通过调节文本的生成过程,仅从文本生成图像。例如,稳定扩散是一种潜在扩散,模型学习识别纯噪声图像中的形状,如果形状与输入文本中的单词匹配,则逐渐使这些形状成为焦点。必须首先使用语言模型将文本嵌入到潜在空间中。然后,采用U-Net架构在潜在空间中进行一系列的噪声添加和消除操作。最后,将去噪后的输出解码到像素空间中。

以下是 Stable Diffusion 生成的输入文本和相应输出图像的一些示例。

以下图片是对输入的回应:“宇航员在火星上骑马的照片”、“印象派风格的纽约市绘画”和“穿西装的狗”。

Stable Diffusion:最先进的文本生成图像模型,第2张

以下图像是对输入的响应:(i) 玩扑克的狗,(ii) 森林中树木丛生的城堡的彩色照片,以及 (iii) 森林中树木丛生的城堡的彩色照片。负面提示:黄色

Stable Diffusion:最先进的文本生成图像模型,第3张

基于稳定扩散AI 模型开发的工具包

DreamTexture.js自动纹理化开发包?是基于 Stable Diffusion AI模型的3D 模型纹理自动生成与设置开发包,可以为 webGL 应用增加 3D 模型的快速自动纹理化能力。

Stable Diffusion:最先进的文本生成图像模型,第4张

图一为原始模型, 图二图三为贴图后的模型。提示词:city, Realistic , cinematic , Front view ,Game scene graph

1、DreamTexture.js 开发包内容

DreamTexture.js 基于 Three.js 和稳定扩散(stable diffusion) AI 模型开发,用于实现 3D 模型的自动纹理化,当然版本 V1.0,主要文件及目录组织结构如下:

Stable Diffusion:最先进的文本生成图像模型,第5张

2、DreamTexture.js 开发包快速上手

以 ESM 库为例介绍如何使用 DreamTexture.js 开发包为 Three.js 应用增加 3D 模型的自动化纹理能力。

首先参考开发包中的稳定扩散服务安装指南部署自己的 stable diffusion api 服务,支持 windows 和 Linux。

接下来安装 three.js 开发环境,安装完成后需要引入 DreamTexture.js 库文件,以 ESM 库为例,引入代码如下:

import * as THREE from 'three';

import DreamTexture from './dream-texture.esm.min';

现在创建一个场景,在场景中导入 GLTF 模型 ,并可以适当的旋转或移动模型:

//将模型导入到场景

const gltfLoader = new THREE.GLTFLoader();

gltfLoader.load('monkey.glb', async (e) => {

? scene.add(e.scene);

});

// 将模型旋转到任何你想要的角度!

box.rotation.y = -Math.PI / 4;

然后实例化一个 DreamTexture 对象,注意要在参数中指定你的稳定扩散 API 服务的 URL:

//初始化DreamTexture对象,传入您的stable diffusion api 地址

const dt = new DreamTexture({

? baseUrl: 'http://127.0.0.1:7860', //stable diffusion url

});

现在就可以调用 DreamTexture 对象的 setTexture 方法传入提示词等参数, 让 AI 模型自动生成生成一张纹理图片,并投射到模型上,代码如下:

//编写提示词和其他参数

// 成功启动stable diffusion api后,可在 http://127.0.0.1:7860/docs 查看文档

const params = {

? ? prompt: 'monkey head, Brown hair, cartoon',//描述所需图像的细节越详细,Stable Diffusion生成效果越接近描述,较少描述则更具创意性。

? ? negative_prompt: 'blurry',//不希望Stable Diffusion生成的内容,用于排除不需要的元素。

? ? denoising_strength: 0.85,// 去噪强度

? ? cfg_scale: 15,//文字CFG比例

? ? image_cfg_scale: 7,//图片CFG比例

? ? steps: 10,//采样步数

? ? sampler_index: 'DPM++ SDE Karras',

? ? sampler_name: '',

};

dt.setTexture(scene, params).then((res) => {

? console.log('纹理添加成功!');

});

3D 模型的自动纹理化效果如下:

案例 1:

Stable Diffusion:最先进的文本生成图像模型,第6张
图一为原始模型, 图二图三为贴图后的模型。

提示词:car, Realistic , photography , hyper quality , high detail , high resolution , Unreal Engine , Side view

案例 2:

Stable Diffusion:最先进的文本生成图像模型,第7张
图一为原始模型, 图二图三为贴图后的模型

图二提示词:Realistic , photography, bottle, porcelain;图三:将'porcelain'换为'glass'

3、DreamTexture.js 开发包 cjs/umd 库文件的使用

DreamTexture 支持三种常用的 js 库格式,除了前面介绍的 esm 格式,还支持 cjs、umd 格式:

cjs 库的引入代码如下:

const ProjectedMaterial = require('./dream-texture.cjs.js');

umd 库的引入代码如下:

<script src="./three.js"></script>

<script src="./dream-texture.umd.js"></script>

4、DreamTexture.js 开发包 API 接口说明

DreamTexture.js 的 API 接口非常简单,说明如下:

new DreamTexture({ baseUrl })

初始化 DreamTexture 对象,稍后用于 3D 模型的自动纹理化。

参数描述

baseUrlstable diffusion api 地址

dreamTexture.setTexture(object3d:THREE.Object3D, params)

DreamTexture 会将传入的 object3d 的正视图作为依据来完成 3D 场景的自动纹理化,包括纹理的生成和自动投射。

参数描述

object3dTHREE.Object3D。支持 Group 和 Mesh。

paramsstable diffusion img2img api 的参数

转载:Stable Diffusion:最先进的文本生成图像模型


https://www.xamrdz.com/backend/32v1937956.html

相关文章: