LoRA — что это такое?

Что такое LoRA?

LoRA (Low-Rank Adaptation) — это метод дообучения нейросетей, который позволяет значительно уменьшить количество изменяемых параметров модели, сохраняя при этом её качество. В контексте Stable Diffusion LoRA используется для адаптации модели к новым стилям, персонажам или объектам без необходимости полного переобучения.

Ключевые особенности LoRA:

Не изменяет основную модель Stable Diffusion.
Обучается быстро (иногда за несколько часов).
Имеет небольшой размер (обычно 10–200 МБ вместо гигабайтов).
Может сочетаться с другими LoRA-файлами.

Как работает LoRA?

Обычное обучение нейросетей требует значительных вычислительных мощностей и изменяет миллионы параметров модели. LoRA использует другой подход:

Вместо того чтобы изменять всю модель, LoRA добавляет дополнительные «слои» (ранговые матрицы).
Эти дополнительные слои учатся запоминать определённые образы или стили.
При генерации LoRA накладывает эти слои на основную модель, не изменяя её структуру.

Это позволяет быстро адаптировать Stable Diffusion для генерации изображений в определённом стиле или с конкретными персонажами.

Виды LoRA

В зависимости от назначения, LoRA можно разделить на несколько типов:

LoRA для персонажей

Используется для обучения модели на изображениях конкретного персонажа (например, аниме-персонажа, знаменитости, оригинального персонажа).

LoRA для стиля

Позволяет передать стиль художника, игры, комикса или анимации. Например, можно обучить LoRA на картинах Ван Гога или стиле Cyberpunk.

LoRA для предметов

Позволяет обучить модель генерировать специфические объекты (автомобили, оружие, здания).

LoRA для поз и композиций

Можно обучить модель создавать определённые позы (например, динамичные позы боя) или композиции.

Как создать LoRA?

Подготовка датасета

Чтобы обучить LoRA, нужно подготовить изображения. Для этого:

Соберите 10–100+ изображений с нужным персонажем или стилем.
Очистите их от лишних элементов, если возможно.
Измените разрешение до 512×512 (или 768×768 для SDXL).
Добавьте теги с помощью WD14 Tagger или DeepBooru.

Настройка обучения

Для обучения LoRA чаще всего используют kohya_ss (локально) или Google Colab.

Укажите датасет и теги.
Настройте параметры обучения (например, количество эпох, размер ранговых матриц).
Запустите обучение и получите файл .safetensors.

Как использовать LoRA?

После обучения или скачивания готового LoRA-файла его нужно подключить к Stable Diffusion WebUI (AUTOMATIC1111):

Скопируйте файл в папку: stable-diffusion-webui/models/Lora/
Включите LoRA в prompt’е: <lora:имя_файла:вес>, например <lora:uraraka_ochako:1>
- Параметры:
  - Вес LoRA (strength) — обычно от 0.5 до 1.2 (выше 1.5 может исказить результат).
  - Можно комбинировать несколько LoRA, например: <lora:uraraka_ochako:1>,<lora:friren:0.9>

Где скачать готовые LoRA?

Если не хочется обучать LoRA самому, можно скачать уже готовые:

CivitAI — крупнейшая база LoRA-моделей.
Hugging Face — много моделей для Stable Diffusion.
Discord-сообщества, форумы и Telegram-каналы по Stable Diffusion.

Преимущества и недостатки LoRA

Преимущества:

Малый размер (десятки или сотни мегабайт).
Можно обучать даже на слабых GPU.
Можно легко комбинировать разные LoRA.
Позволяет быстро адаптировать Stable Diffusion к новым персонажам и стилям.

Недостатки:

Требует качественного датасета для хороших результатов.
Может менять стиль всей картинки, а не только персонажа.
Иногда плохо работает на сложных позах и ракурсах.

Советы по работе с LoRA

Не используйте слишком высокий вес LoRA (выше 1.5) — это может сделать изображение слишком искусственным.
Комбинируйте LoRA с текстовыми промптами для улучшения результата.
Пробуйте разные версии LoRA — не все модели работают одинаково хорошо.
Используйте ControlNet или Inpaint для точной настройки изображений с LoRA.

Альтернативы LoRA

Если LoRA не даёт нужного результата, можно попробовать:

DreamBooth — полное переобучение модели на персонаже (более ресурсоёмкий метод).
Textual Inversion (TI) — похожий метод, но с текстовыми эмбеддингами вместо LoRA.
Hypernetworks — другой способ добавления новых знаний в модель.

Заключение

LoRA — мощный инструмент для адаптации Stable Diffusion, который позволяет быстро добавлять новые персонажи, стили и объекты в генерацию изображений. Этот метод прост в использовании и требует гораздо меньше ресурсов, чем полноценное дообучение модели.