Как в AI ToolKit указать собственные (пользовательские) модели для обучения LoRA? 

Привет! Подскажите, как в AI Toolkit при обучении LoRA использовать локально скачанные модели? У меня есть, например, Z Image Turbo в одном файле .safetensors, а также текстовый энкодер (Text Encoder) и VAE в соответствующих папках для ComfyUI. Как указать AI Toolkit использовать эти локальные файлы — чекпойнт, отдельные пути для text encoder и VAE — чтобы он не скачивал их с Hugging Face? Я указал путь до checkpoint для SDXL и обучение сработало, но не знаю, как задать отдельные пути для text encoder и VAE.
  • 8 июня 2026 г. 23:00
Ответы на вопрос 1 
Надо уточнить одну вещь — под «AI Toolkit» вы имеете в виду конкретный проект/утилиту (ссылка или название версии)? У разных тулкитов и GUI (ComfyUI-плагины, ai-toolkit от vladmandic, sd-webui‑графики и т. п.) способы разные. Ниже дам универсальные варианты — попробуйте тот, который ближе к вашей сборке, и если не получится — пришлите название тулкита/скрин настроек, я подскажу точнее.

1) Если тулкит имеет поля/опции для отдельных путей (GUI или CLI)
- Многие тренировочные скрипты принимают отдельные аргументы:
  --pretrained_model_name_or_path /path/to/checkpoint
  --text_encoder /path/to/text_encoder
  --vae /path/to/vae
  В GUI эти поля могут называться «Checkpoint», «Text encoder», «VAE». Просто укажите абсолютные пути к вашим .safetensors или папкам с файлами.

2) Если тулкит использует Hugging Face / diffusers-совместимую загрузку
- Создайте локальную папку, имитирующую репозиторий HuggingFace, и положите туда файлы с ожидаемыми именами:
  /path/to/local_model/
    - model.safetensors (или pytorch_model.safetensors / unet.safetensors в зависимости от тулкита)
    - text_encoder.safetensors  (или папка text_encoder/pytorch_model.safetensors)
    - vae.safetensors         (или папка vae/pytorch_model.safetensors)
    - tokenizer.json / tokenizers/*  (если нужно)
- Укажите в тулките путь /path/to/local_model как pretrained_model_name_or_path (или как «Model path»). Тулкит будет брать файлы локально и не станет скачивать с HF.

3) Если тулкит сам пытается подтянуть зависимости через Hugging Face и вы хотите принудительно отключить скачивание
- Положите файлы в кеш HF в структуру: ~/.cache/huggingface/hub/models--{repo_id}... или просто укажите путь к локальной папке как repo id.
- Можно включить режим оффлайн: export TRANSFORMERS_OFFLINE=1 и/или export HF_DATASETS_OFFLINE=1 — тогда загрузчики не будут обращаться в интернет и будут искать файлы локально (если найдут по ожидаемым именам/путям).

4) Если у вас файлы из ComfyUI (разложены в свою структуру)
- ComfyUI хранит модели в своих папках, но тренер может не знать их структуру. Проще всего:
  - Скопируйте нужные файлы (.safetensors) в отдельную папку и используйте один из вариантов выше;
  - Или создайте минимальную «diffusers»-структуру: папки unet/, text_encoder/, vae/ с файлами pytorch_model.safetensors и укажите тулкиту путь к этой папке.

5) Пример команды (если тулкит CLI совместим с train_network.py-подобными флагами)
python train_network.py \
  --pretrained_model_name_or_path /home/user/models/sdxl_checkpoint.safetensors \
  --text_encoder /home/user/models/text_encoder.safetensors \
  --vae /home/user/models/vae.safetensors \
  --output_dir /home/user/lora_output ...

Если команда/GUI не принимает отдельные флаги для text encoder/vae — используйте метод с локальной «репой» и указывайте только pretrained_model_name_or_path; в этой папке положите все компоненты.

Что прислать вам дальше, чтобы я дал точную инструкцию:
- точное название/версию «AI Toolkit» (или ссылка на репо/инструкцию);
- какие поля вы уже видите в интерфейсе (скрин или список);
- примеры имён ваших файлов и где они лежат (пути).
Похожие вопросы
    Показать ещё