本教程是一個(gè)工作流詳解，主要講述如何在創(chuàng)作中，利用Stable Diffusion進(jìn)行圖像生成、圖像融合、添加細(xì)節(jié)和放大的工作。

閱讀之前

確保已安裝并熟練使用以下工具：

本教程適用人群：AI全流程掌控者。

第一步：構(gòu)思和構(gòu)圖

主題：描繪一個(gè)退休天狗隱居山林的形象

構(gòu)圖：采用豎構(gòu)圖，初始尺寸比例定為1152*1920px。

畫面元素：背景為森林及陽光，中景為主要人物、石頭和各種物品，前景為植物及土地

鏡頭：低視角，對焦中景，前景虛化。

第二步：背景繪制

找到森林和石頭的圖片素材，在Photoshop中進(jìn)行合成，加入光線，粗略處理成想要的構(gòu)圖和透視角度。

使用Stable Diffusion img2img，生成最初的背景圖。

注意，此時(shí)不需要在意任何畫面細(xì)節(jié)。生成的圖片即使有一些錯(cuò)誤也不需要修補(bǔ)。

Prompt: ?masterpiece, best quality, low angle, depth of field, a forest with sunbeams shining through the trees, rocks laying on the ground in the foreground

第三步：人物繪制

首先需要確定人物動作。這里我在草圖的基礎(chǔ)上，用Clip Studio Pro中的3D人物模型進(jìn)行姿態(tài)調(diào)整。你也可以使用其他3D Pose類軟件生成人物姿態(tài)。

然后我們需要使用ControlNet的Openpose功能，生成人物姿態(tài)。

為了控制人物的色彩，可以用一張色彩合適的圖片放入img2img中，將Denoising strength調(diào)至0.9以上，作為色板使用。當(dāng)然，你也可以畫出基本色稿放入img2img中，或是使用ControlNet Color等插件來控制色彩。

在此過程中需要進(jìn)行img2img反復(fù)迭代，并且適時(shí)加入背景中的森林和光線元素，以便將來合成時(shí)人物與背景更易于融合。

人物大致確定以后，使用photoshop進(jìn)行簡單融合，再使用img2img繼續(xù)生成畫面。此過程依然需要反復(fù)迭代，并配合inpainting和inpainting sketch進(jìn)行調(diào)整。

至此，畫面已經(jīng)有了雛形。臉部角度和手都存在問題，但是不用急于修改。

Prompt: ?masterpiece, best quality, 1male, japanese monk, back lighting, ((rim light)), long hair, white hair, floating hair, white beard, long beard, meditation, in the forest with sunbeams shining through the trees, rocks laying on the ground in the foreground, depth of field, low angle

第四步：天狗

現(xiàn)在我們要讓老人帶上天狗面具。由于Stable Diffusion沒有合適的模型和Lora可以方便地生成天狗面具，所以我為此訓(xùn)練了專用Lora。

Lora在使用時(shí)需要使用inpainting sketch進(jìn)行重繪，或是使用Photoshop剪裁并簡單手繪好面具后進(jìn)入img2img重繪。注意重繪區(qū)域要小，以免Lora的風(fēng)格污染畫面的其他元素。

繪制Stable Diffusion不能很好地識別和繪制的特殊物品，最直接的方法就是自制Lora。

第五步：其他物品

延續(xù)之前的思路，在畫面中一件一件添加其他物品。

方法仍然是：在畫面局部使用Photoshop加入素材或使用Inpaiting Sketch繪制物體，再進(jìn)行多次img2img迭代，得到滿意的效果后，在Photoshop中進(jìn)行融合，最后整體再使用img2img再次生成。

在繪制局部物體的時(shí)候，可以根據(jù)需要使用不同的模型和Lora，而不必?fù)?dān)心整體畫風(fēng)發(fā)生改變。

第六步：局部修正

修正物體：包括手、物體比例等。

修正背景：由于AI無法理解物體的遮擋關(guān)系，所以背景中的樹木會出現(xiàn)錯(cuò)位現(xiàn)象，我們需要手動修復(fù)樹干被遮擋后的連續(xù)性。

此時(shí)，我們已經(jīng)有了完整的畫面，且畫面中沒有明顯的瑕疵。

Prompt: masterpiece, best quality, 1male, japanese monk with a tengu mask and large beads necklace, a little puppy, a katana, a gourd, back lighting, ((rim light)), long hair, white hair, white beard, long beard, meditation, (textured clothing), ultra detailed, in the forest with sunbeams shining through the trees, rocks laying on the ground in the foreground, depth of field, low angle

第七步：放大

放大有幾種方法：?

使用Extra>Upscaler進(jìn)行放大 - 無法增加細(xì)節(jié)?

使用Ultimate SD upscale放大 - 對于元素較多的復(fù)雜畫面容易出現(xiàn)錯(cuò)誤?

使用ControlNet Tile + Ultimate SD upscale放大 - 同樣對于復(fù)雜畫面容易出現(xiàn)錯(cuò)誤

所以這一次我們需要使用手動分區(qū)放大。

用photoshop將畫面均勻裁剪成512*512px的局部圖

使用Stable Diffusion img2img逐一生成1920*1920px的圖，

Denoising控制在0.39-0.49。

再針對重要的物體分別通過img2img進(jìn)行放大生成，放大倍數(shù)為1920/512=3.75。

在分區(qū)域放大的過程中，可以使用ControlNet和Ultimate SD upscaler，增加更多細(xì)節(jié)。

最后，使用Photoshop將所有放大后的局部圖進(jìn)行拼合，精修，調(diào)色。

至此，所有工作就完成了！來看看最終效果。

結(jié)語

Stable Diffusion等AI繪圖工具，目前還無法應(yīng)對有元素豐富的復(fù)雜畫面。特別是對畫面有精確要求的時(shí)候，使用單一的img2img不能生成令人滿意的效果。

本工作流的核心在于，每一個(gè)環(huán)節(jié)只讓AI做一件事，提升AI對指令的精確理解。此外，這個(gè)工作流與傳統(tǒng)繪畫中“從整體到局部”的流程相似，對于習(xí)慣于手繪的畫師比較友好。另外，由于90%的工作由作者本人把控，AI并沒有過多的自由發(fā)揮，對作者而言，這體現(xiàn)了創(chuàng)作的本質(zhì)。

附本工作流使用的模型和Lora：?

Model: Lyriel V1.5 / DreamShaper V1.5

Lora: NijiExpressive V1.0 / MazzNohMask V0.5

文章來自AIGARLIC，作者：Mazz