영상 생성 모델 파인튜닝, 이제 pip 한 줄로 시작해요
대형 이미지·영상 생성 모델(diffusion model)을 직접 파인튜닝하는 건 오래도록 특수 인프라 팀의 영역이었어요. 멀티 GPU 분산 학습을 직접 구성하고, 모델마다 다른 체크포인트 포맷을 변환하고, 병렬화 전략을 코드 레벨에서 관리해야 했거든요.
NVIDIA와 Hugging Face가 2026년 7월 17일 함께 출시한 NeMo Automodel + Diffusers 통합이 이 진입장벽을 크게 낮췄어요. Hub에 올라온 Diffusers 모델 ID를 지정하고 YAML 설정을 건드리는 것만으로, 멀티 GPU 분산 파인튜닝을 시작할 수 있어요.
핵심 요약
- NVIDIA + Hugging Face 공동, NeMo Automodel + Diffusers 통합 오픈소스 출시 (2026-07-17, Apache 2.0)
- Hub의 Diffusers 모델 ID만 지정하면 체크포인트 변환 없이 즉시 훈련 시작 가능해요
- 지원 모델 6종: Wan 2.1(1.3B·14B), Wan 2.2(27B MoE), FLUX.1-dev(12B), FLUX.2-dev(32B), HunyuanVideo 1.5(13B), Qwen-Image(20B)
- FSDP2·텐서·전문가·컨텍스트·파이프라인 병렬화를 YAML 선언만으로 전환 — 코드 수정 없이요
- 설치:
pip install nemo-automodel한 줄이에요
Video diffusion fine-tuning: one pip install away
Fine-tuning large image and video generation models has long required specialized infrastructure teams — building custom multi-GPU training setups, converting model checkpoints between formats, and managing parallelization strategies at the code level.
The NeMo Automodel + Diffusers integration released jointly by NVIDIA and Hugging Face on July 17, 2026 lowers that barrier significantly. Point to a Diffusers model ID on the Hub, configure a YAML file, and distributed fine-tuning starts — no custom code needed.
TL;DR
- NVIDIA + Hugging Face joint release: NeMo Automodel + Diffusers integration (2026-07-17, Apache 2.0)
- Any Diffusers Hub model ID works as input — no checkpoint conversion required
- 6 ready-to-use recipes: Wan 2.1 (1.3B, 14B), Wan 2.2 (27B MoE), FLUX.1-dev (12B), FLUX.2-dev (32B), HunyuanVideo 1.5 (13B), Qwen-Image (20B)
- Switch between FSDP2, tensor, expert, context, and pipeline parallelism via YAML — no code changes
- Install:
pip install nemo-automodel
Diffusers와의 통합이 핵심이에요
이 출시에서 기술적으로 중요한 부분은 “체크포인트가 양방향으로 호환된다”는 거예요. Hub의 Diffusers 모델을 그대로 훈련 입력으로 쓸 수 있고, 파인튜닝이 끝난 체크포인트도 다시 Diffusers 파이프라인에 그대로 로드돼요.
지금까지는 대형 모델을 분산 훈련할 때 자체 포맷으로 저장하고, 추론할 때 다시 변환하는 작업이 필요했어요. 이 과정에서 파이프라인이 복잡해지고 오류 가능성이 생겼는데, 이번 통합은 그 변환 단계 자체를 없앴어요. 원문 표현으로는 — “Checkpoints round-trip cleanly back into the Diffusers ecosystem.”
지원 모델 6종: 영상부터 이미지까지
즉시 쓸 수 있는 레시피가 6종 포함돼 있어요.
| 모델 | 파라미터 | 지원 모드 |
|---|---|---|
| Wan 2.1 T2V | 1.3B / 14B | Full FT + LoRA |
| Wan 2.2 T2V | 27B (MoE) | LoRA |
| FLUX.1-dev | 12B | Full FT + LoRA |
| FLUX.2-dev | 32B | LoRA |
| HunyuanVideo 1.5 | 13B | LoRA |
| Qwen-Image | 20B | Full FT + LoRA |
Wan 2.1/2.2는 텍스트 투 비디오(T2V), FLUX는 이미지 생성, HunyuanVideo 1.5는 영상 생성, Qwen-Image는 이미지 생성 모델이에요. 파라미터 규모가 27B MoE에서 1.3B까지 다양해서 GPU 자원에 맞춰 선택할 수 있어요.
병렬화 전략을 YAML로 바꾼다는 의미
멀티 GPU 학습에서 병렬화 전략 선택은 성능을 크게 좌우해요. 모델 크기, GPU 메모리, 배치 크기에 따라 최적 전략이 달라지는데, 기존에는 이를 코드 레벨에서 바꿔야 했어요.
NeMo Automodel은 이 전략을 YAML 선언으로 바꿀 수 있게 했어요. FSDP2(완전 분산 데이터 병렬), 텐서 병렬, 전문가 병렬(MoE 전용), 컨텍스트 병렬, 파이프라인 병렬 — 이 조합을 설정 파일 수정만으로 전환할 수 있어요. 원문 표현: “One program, any scale — switch between FSDP2, tensor parallel, expert parallel, context parallel, and pipeline parallel by declaring configurations, not rewriting models.”
성능 수치: 8× H100 기준으로 보면
8장의 H100 80GB 기준으로 측정한 성능 수치가 공개됐어요.
| 모델 | 모드 | 처리량 | 피크 메모리 |
|---|---|---|---|
| FLUX.1-dev | Full FT | 35.51 ± 1.55 images/s | 63.88 GiB (512×512) |
| FLUX.1-dev | LoRA r64 | 53.73 ± 0.48 images/s | 67.43 GiB (512×512) |
| Qwen-Image | Full FT | 41.21 ± 3.06 images/s | 53.55 GiB (512×512) |
| Wan 2.1 1.3B | Full FT | 8.50 ± 0.35 clips/s | 6.09 GiB (512×512×49f) |
| Wan 2.1 14B | LoRA | 2.110 ± 0.000 clips/s | 24.07 GiB |
| HunyuanVideo 1.5 | LoRA | 1.433 ± 0.006 clips/s | 10.58 GiB |
LoRA(Low-Rank Adaptation)는 전체 가중치 대신 소규모 어댑터만 학습하는 방식이에요. FLUX.1-dev LoRA r64가 Full FT보다 처리량이 높게 나온 건, 업데이트하는 파라미터 수가 적어 연산이 가벼워지기 때문이에요.
왜 중요한가요
이 출시가 흥미로운 이유는 두 가지예요.
첫째, Diffusers 생태계가 훈련 파이프라인까지 통합됐어요. 기존에 Diffusers는 주로 추론(inference) 쪽에서 표준이었는데, 이제 파인튜닝한 체크포인트도 Diffusers 파이프라인에 바로 넣을 수 있게 됐어요. 이미지·영상 생성 AI 쪽에서 쓰는 도구 체계가 한 레이어 더 통합된 거예요.
둘째, 진입장벽이 실질적으로 내려갔어요. 32B짜리 FLUX.2-dev를 파인튜닝하려면 기존엔 분산 학습 인프라를 직접 구성해야 했어요. pip install 한 줄과 YAML 파일이 그 자리를 대체할 수 있다면, 대형 생성 모델을 커스터마이즈하는 팀의 수가 눈에 띄게 늘어날 거예요.
핵심 통찰
Diffusers가 추론 표준에서 훈련-추론 통합 표준으로 확장되는 순간이에요. 이미지·영상 AI 파이프라인에서 도구 선택지가 좁아지는 게 아니라, 표준이 위로 올라가는 방향이에요.
오픈소스 생태계에서 “표준”이 되는 건 단순히 쓰는 사람이 많아지는 게 아니에요. 다른 도구들이 이 표준을 기준으로 설계되기 시작하는 때예요. Diffusers + NeMo Automodel 조합이 그 방향으로 가고 있는 것 같아요.
My Take
직접 써보진 못했지만, 이 통합에서 가장 실용적인 부분은 “체크포인트 round-trip”이에요. 파인튜닝한 모델을 기존 Diffusers 파이프라인에 그대로 넣을 수 있다는 건, 기존 이미지 생성 워크플로우에 커스텀 모델을 추가하는 방식으로 활용할 수 있다는 의미예요.
32B 규모 모델을 가진 팀이 아니더라도, 1.3B짜리 Wan 2.1은 소수의 H100으로도 실험해 볼 수 있는 규모예요. pip install 하고 레시피 YAML 하나 받아서 돌려보는 게 지금 당장 해볼 수 있는 일이에요.
영상·이미지 생성 모델을 도메인 특화 데이터로 파인튜닝하는 걸 고민 중이라면, NeMo Automodel이 지금 시작점으로 가장 진입하기 쉬운 옵션이 됐어요.
Why round-trip checkpoint compatibility matters
The technically important detail here is bidirectional checkpoint compatibility. You can use any Diffusers Hub model as training input without format conversion, and the fine-tuned checkpoint loads directly back into any Diffusers inference pipeline.
Previously, distributed training often meant storing weights in a custom format, then re-converting for inference — adding pipeline complexity and error-prone steps. This integration eliminates that conversion step. In the words of the release: “Checkpoints round-trip cleanly back into the Diffusers ecosystem.”
Six ready-to-use model recipes
The integration ships with six pre-built recipes:
| Model | Parameters | Modes |
|---|---|---|
| Wan 2.1 T2V | 1.3B / 14B | Full FT + LoRA |
| Wan 2.2 T2V | 27B (MoE) | LoRA |
| FLUX.1-dev | 12B | Full FT + LoRA |
| FLUX.2-dev | 32B | LoRA |
| HunyuanVideo 1.5 | 13B | LoRA |
| Qwen-Image | 20B | Full FT + LoRA |
Scale ranges from 1.3B (Wan 2.1) to 32B (FLUX.2-dev), covering text-to-video, video generation, and image generation across different resource levels.
What YAML-configurable parallelism actually changes
Parallelization strategy has a major impact on multi-GPU training performance, and the right strategy depends on model size, GPU memory, and batch size. Previously, switching strategies meant rewriting code.
NeMo Automodel makes these strategies YAML-configurable: FSDP2, tensor parallel, expert parallel (for MoE models), context parallel, and pipeline parallel — switchable without touching model code. As the release puts it: “One program, any scale — switch between FSDP2, tensor parallel, expert parallel, context parallel, and pipeline parallel by declaring configurations, not rewriting models.”
Benchmark numbers on 8× H100 80GB
| Model | Mode | Throughput | Peak Memory |
|---|---|---|---|
| FLUX.1-dev | Full FT | 35.51 ± 1.55 img/s | 63.88 GiB (512×512) |
| FLUX.1-dev | LoRA r64 | 53.73 ± 0.48 img/s | 67.43 GiB (512×512) |
| Qwen-Image | Full FT | 41.21 ± 3.06 img/s | 53.55 GiB (512×512) |
| Wan 2.1 1.3B | Full FT | 8.50 ± 0.35 clips/s | 6.09 GiB (512×512×49f) |
| Wan 2.1 14B | LoRA | 2.110 ± 0.000 clips/s | 24.07 GiB |
| HunyuanVideo 1.5 | LoRA | 1.433 ± 0.006 clips/s | 10.58 GiB |
FLUX.1-dev LoRA outperforms Full FT on throughput because LoRA updates only a small adapter rather than all weights — fewer parameters means faster per-step training.
Why it matters
Two things make this release notable.
First, Diffusers now covers the full training-to-inference pipeline. It was already the standard for inference; now fine-tuned checkpoints can go straight back into Diffusers pipelines. The tool stack for image and video generation AI consolidates another layer.
Second, the actual barrier to entry dropped. Fine-tuning a 32B model like FLUX.2-dev previously required building distributed training infrastructure from scratch. If a pip install and a YAML file can replace that, the number of teams customizing large generative models will grow substantially.
Key Insight
Diffusers is expanding from an inference standard to a training-plus-inference standard. This doesn’t narrow the open-source tool landscape — it raises where the standard sits.
In open-source ecosystems, becoming “the standard” means other tools start designing around you. The Diffusers + NeMo Automodel combination appears to be moving in that direction.
My Take
The most practically useful part here is checkpoint round-trip. The ability to load fine-tuned weights back into existing Diffusers pipelines means you can slot a custom model into existing image generation workflows without rebuilding the inference stack.
Even without a 32B-capable cluster: Wan 2.1 at 1.3B is experimentable on a small H100 setup. Running pip install nemo-automodel and pulling a recipe YAML is a concrete first step today.
If you’re considering domain-specific fine-tuning for image or video generation, NeMo Automodel is currently the lowest-friction entry point available.
댓글Comments