lorien team
Stable Diffusion
Краткое руководство
Почему не Midjourney?
Как установить нейросеть Stable Diffusion
Лучше всего взять готовое решение Stable Diffusion Portable на гитхабе у Сергея Потапова:
https://github.com/serpotapov/stable-diffusion-portable
Инструкции по установке можно посмотреть у Хачатура Аванесяна. Хачатур — автор удачной модели deliberate и очень полезных стилей.
Нормальная скорость работы достигается с видеокартами RTX начиная с 3060 и выше.
Нейросеть бежит на Windows-машине, но можно до нее достучаться по локальной сети и работать с Мака, если добавить в строчку с аргументами стартующего батника заклинания вроде --listen --port 4444.
https://github.com/serpotapov/stable-diffusion-portable
Инструкции по установке можно посмотреть у Хачатура Аванесяна. Хачатур — автор удачной модели deliberate и очень полезных стилей.
Нормальная скорость работы достигается с видеокартами RTX начиная с 3060 и выше.
Нейросеть бежит на Windows-машине, но можно до нее достучаться по локальной сети и работать с Мака, если добавить в строчку с аргументами стартующего батника заклинания вроде --listen --port 4444.
1
Интерфейс
Первый экран интерфейса Stable Diffusion WebUI. Основные параметры генерации изображения по текстовому запросу, что такое Sampling method, Sampling Steps и CFG Scale и как они влияют на генерацию. Что такое Styles.
2
Upscale
Увеличение размера изображения с помощью нейросети, вкладка Img2Img, влияние параметра Denoising Strength
Prompt: medieval boy with macbook, by Hieronymus Bosch
Style: Painting
Negative prompt: (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
Steps: 24, Sampler: Euler a, CFG scale: 5.5, Seed: 4086574251, Size: 640x640
Style: Painting
Negative prompt: (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
Steps: 24, Sampler: Euler a, CFG scale: 5.5, Seed: 4086574251, Size: 640x640
3
Настройка силы токенов
Как можно регулировать влияние слов (токенов) в запросе. Конструкции вида (red:0.8) и [red:blue:12]
4
Diffusors & Extra Networks
Как разные модели рисуют в разных стилях
Загруженные из интернета файлы Extra Networks нужно класть в папку /models в соответствующие подпапки. Например, файлы LoRA класть в папку /models/Lora
Prompt: (друже:1.2) hugging маша, (orthodox:0.9), slate atmosphere, cinematic, dimmed colors, dark shot, muted colors, film grainy, lut, insane details, intricate details, hyperdetailed, (closeup:0.9)
Negative prompt: (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
Steps: 26, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2494816034, Size: 640x800, Model hash: b4391b7978, Model: deliberate_v2, ENSD: 31337
Negative prompt: (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
Steps: 26, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2494816034, Size: 640x800, Model hash: b4391b7978, Model: deliberate_v2, ENSD: 31337
5
ControlNet/OpenPose
Как управлять позами персонажей
6
ControlNet/Depth
Как управлять формой объектов
7
ControlNet/Canny
Как управлять формой объектов (продолжение)
Важное дополнение
В ControlNet можно использовать сразу два метода, например Canny+Depth. Для этого есть вкладки 'ControlNet Unit 0' и 'ControlNet Unit 1'. Это помогает, если форма объекта сложная и один ControlNet не справляется. Картинки с контурами и глубиной можно подготовить в любом 3D пакете, который может в Cartoon shader и Depth map.
6
Inpaint
Как поменять часть изображения (по маске)
7
ChatGPT + Stable Diffusion
Одна нейросеть управляет другой
Хочу еще сделать видео про:
- X/Y/Z PlotПолуавтоматический подбор параметров генерации
- Composable Lora и Latent Couple + ControlNetСоздание отдельных промтов для разных участков изображения на примере интерьера.
- Справочные ресурсыГде брать названия стилей, имена художников и другие заклинания.
- Еще про ControlNetБольше контроля! Разные препроцессоры, лица/руки и так далее.
Все иллюстрации и обложки для видео сделаны на Stable Diffusion