WeChat (AIGC小顽童)
creative-ai
Original source

我用2小时训个脸部LoRA，从此AI出图自带你的脸

Summary

保姆级教程：用 Ostris AI-Toolkit 训练个人脸部 LoRA，配合 Z-Image-Turbo (ZIT) 模型，实现一次训练、无限风格出图。

核心对比：Reactor 换脸 vs LoRA

  • Reactor = 后期贴脸，有接缝/光源不匹配问题
  • LoRA = 让模型从根本上”记住”你的脸，生成时一体化，无接缝

7 步流程

  1. 素材准备 — 15-25 张照片（正脸特写 8 张 + 全身半身 8 张 + 侧面动态 4 张），至少 1024x1024
  2. 打标 — 每张照片配同名 txt，写场景描述 + 触发词（如 [myface]），不描述脸本身
  3. 训练环境 — 本地用 ostris/ai-toolkit（需 12G+ 显存），或 RunPod 云端 RTX 4090（约 2-4 元/次）
  4. 训练参数 — base_model: Z-Image-Turbo, rank: 16, lr: 1e-4, steps: 3000, resolution: 1024
  5. 训练监控 — 关注 loss 趋势和每 500 步样本图，2500-3000 步是甜区
  6. 验证选模 — 对比 2000/2500/3000 步 checkpoint，通常 2000-2500 性价比最高
  7. ComfyUI 推理 — 加载 LoRA (strength 0.8)，提示词带触发词，Steps 8, CFG 1

关键技术细节

  • 使用 training_adapter: ostris/zimage_turbo_training_adapterV2（ZIT 是蒸馏模型，需去蒸馏处理）
  • caption_dropout_rate: 0.05 防止死记标签
  • 过拟合风险：步数过多会导致只能复制训练图姿势
  • LoRA 文件仅几十到一百多 MB

硬件要求

  • 8G 显存：跑不动，需上云
  • 12G (3080)：可训，768² 分辨率
  • 16G (4070 Ti)：1024²，4-6 小时
  • 24G+ (4090)：~1 小时