로봇도 이제 ‘상상하고, 평가하고, 개선한다’ — LeRobot이 채운 마지막 조각
로봇 학습에서 가장 어려운 건 늘 같은 질문이었어요. 로봇이 방금 한 행동이 잘된 건지, 누가 판단해줄까요. 지금까지는 사람이 일일이 지켜보거나 시뮬레이션 점수에 의존해야 했어요. 7월 7일 Hugging Face가 내놓은 LeRobot v0.6.0은 이 판정 과정 자체를 로봇 학습 파이프라인 안으로 끌어왔어요.
핵심 요약
- 세계 모델(world model) 3종(VLA-JEPA, LingBot-VA, FastWAM)이 새로 추가돼, 로봇이 행동하기 전에 결과를 먼저 예측할 수 있게 됐어요.
- 비전-언어-행동(VLA) 모델 5종(GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1)이 추가됐어요. 0.77B의 경량 모델부터 대형 모델까지 폭이 넓어졌고요.
- 보상 모델(reward model) API가 처음 도입돼, 별도 학습 없이도 로봇의 작업 성공 여부를 점수로 매길 수 있게 됐어요.
- NVIDIA의 GR00T N1.7을 원본 구현과 “동일 입력, 동일 출력”이 되도록 대조 테스트를 거쳐 통합했어요.
- 라이선스는 Apache-2.0이고,
lerobot-rollout이라는 새 배포 도구로 로봇을 실제 운용하면서 동시에 학습 데이터를 모을 수 있어요.
Robots Can Now Imagine, Evaluate, and Improve — LeRobot Closes the Loop
Robot learning has always run into the same question: who decides whether the robot’s last action actually worked? Until now, that meant a human watching closely or a simulation score standing in for judgment. Hugging Face’s LeRobot v0.6.0, released July 7, pulls that judgment step directly into the training pipeline.
TL;DR
- Three new world models (VLA-JEPA, LingBot-VA, FastWAM) let a robot predict the outcome of an action before taking it.
- Five new vision-language-action (VLA) models (GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1) span a lightweight 0.77B model up to much larger ones.
- A new reward-model API scores whether a robot’s attempt succeeded, with no task-specific training required.
- NVIDIA’s GR00T N1.7 was integrated after being tested against the original implementation for matching input and output.
- Licensed Apache-2.0, with a new
lerobot-rollouttool that turns real-world deployment into a data-collection process at the same time.
구조화 분석
로봇이 먼저 ‘상상’하게 만드는 세계 모델 3종
세계 모델은 로봇이 실제로 움직이기 전에 “이렇게 하면 어떻게 될까”를 미리 그려보는 역할을 해요. 이번에 추가된 세 모델의 방식이 서로 달라요.
VLA-JEPA는 Qwen3-VL-2B를 기반으로 한 콤팩트한 모델로, 미래를 잠재 공간(latent space)에서 예측해요. 훈련할 때만 세계 모델의 감독을 받고, 실제로 로봇을 움직일 때는 추가 연산 비용이 들지 않는 구조예요. LingBot-VA는 비디오와 행동을 함께 청크 단위로 예측하는 자동회귀 모델인데, 실제 관찰 결과를 피드백으로 계속 받아서 상상이 현실에서 벗어나지 않게 잡아줘요. 단일 GPU(24~32GB)에서 돌릴 수 있고, 상상한 롤아웃과 실제 결과를 나란히 비교하는 옵션도 있고요. FastWAM은 비디오 생성 전문가(약 5B 파라미터)와 경량 행동 전문가를 하나의 네트워크로 묶었는데, “세계 행동 모델이 실행 시점에 매번 미래를 상상할 필요가 있나?”라는 질문에서 출발해 실행 단계에서는 상상 과정을 건너뛰고 바로 행동을 만들어내도록 설계됐어요.
다섯 가지 VLA 모델 — 크기와 접근성의 폭
VLA(Vision-Language-Action)는 카메라로 본 것과 언어 지시를 함께 받아 로봇의 행동을 만들어내는 모델이에요. 이번에 추가된 다섯 모델이 흥미로운 건 크기 차이가 크다는 점이에요. NVIDIA의 GR00T N1.7은 Qwen3-VL 기반의 비전-언어 모델과 플로우 매칭 행동 헤드를 결합한 대형 모델이고, Allen Institute for AI의 MolmoAct2는 미세조정부터 배포까지 전체 생애주기를 지원하며 bf16 기준 약 12GB로 돌아가요. EO-1은 Qwen2.5-VL-3B 백본에 문자·텍스트·행동 데이터를 함께 학습시켰고, Multitask DiT는 TRI(Toyota Research Institute)의 Large Behavior Models 레시피를 따른 약 450M 파라미터의 디퓨전 트랜스포머로 자연어로 여러 작업을 골라 실행할 수 있어요. 가장 가벼운 EVO1은 0.77B 파라미터로 일반 소비자용 GPU에서도 실시간 청킹이 가능하고요. 대형 연구소의 모델부터 개인이 돌릴 수 있는 경량 모델까지 갖춰서, 진입 장벽을 낮추려는 의도가 보여요.
보상 모델 — 로봇 학습 루프의 빠진 조각
지금까지 로봇 학습에서 가장 손이 많이 가는 부분이 “이 시도가 성공했는가”를 판정하는 일이었어요. 이번에 lerobot.rewards라는 API로 이 부분을 채웠어요. Robometer(lerobot/Robometer-4B)는 Qwen3-VL-4B를 기반으로 백만 개가 넘는 로봇 궤적 데이터를 학습한 범용 보상 모델이에요. 언어로 된 작업 지시와 비디오를 함께 보고 진행 상황과 성공 여부를 점수로 매기는데, 작업마다 따로 학습할 필요가 없다는 게 핵심이에요. TOPReward는 기존에 나와 있는 비전-언어 모델(VLM)을 그대로 활용하는 완전 제로샷 방식으로, 궤적 비디오와 작업 지시를 주면 “성공했다(True)“는 답이 나올 확률을 읽어서 판정해요.
NVIDIA GR00T N1.7, 어떻게 통합했나
GR00T N1.7을 LeRobot에 넣으면서 Hugging Face가 강조한 부분은 “NVIDIA의 원본 Isaac-GR00T 구현과 동일 입력에 동일 출력이 나오도록” 대조 테스트를 거쳤다는 거예요. 서로 다른 코드베이스에서 같은 모델을 재구현할 때 흔히 생기는 미묘한 차이(수치 정밀도, 전처리 방식 차이 등)를 걸러냈다는 뜻이에요. 선택적으로 플래시 어텐션도 지원하고, pip install 'lerobot[groot]' 한 줄로 설치할 수 있어요.
배포가 곧 데이터 수집이 되는 구조
lerobot-rollout이라는 새 명령줄 도구는 로봇을 실제로 운용하는 것 자체를 데이터 수집 과정으로 바꿔줘요. 배포 전략이 다섯 가지인데, 기본 실행(Basic)부터 지속 기록과 에피소드 로테이션을 하는 Sentry, 최근 N초만 저장하는 Highlight, 에피소드 단위 기록인 Episodic, 그리고 정책이 실패할 때 사람이 개입한 순간을 기록하는 DAgger까지 있어요. 특히 DAgger 모드는 리더 암이 팔로워 암의 자세로 구동돼 사람이 자연스럽게 핸드오버할 수 있고, 개입한 구간에 태그를 붙여 재학습용 데이터로 바로 쓸 수 있게 해줘요.
여기에 시뮬레이션 벤치마크 6종(LIBERO-plus, RoboTwin 2.0, RoboCasa365, RoboCerebra, RoboMME, VLABench)을 통합한 lerobot-eval도 새로 생겼어요. 예를 들어 LIBERO-plus는 조명과 카메라 각도 등 7개 축으로 약 1만 개의 변형 테스트를 돌리고, RoboCasa365는 2,500개의 절차적으로 생성된 주방에서 365개 요리 작업을 테스트해요.
그 외 개선 사항
FSDP(모델 파라미터를 여러 GPU에 나눠 담는 방식) 훈련을 지원해 한 GPU에 안 들어가는 큰 모델도 훈련할 수 있게 됐고, Hugging Face Jobs를 통해 클라우드에서 바로 훈련을 돌릴 수도 있어요. 데이터셋 쪽에서는 깊이 센서 지원, VLM 기반 자동 언어 주석, 다중 카메라 병렬 디코딩으로 데이터 로딩이 최대 2배 빨라졌고요(275초 걸리던 서브셋 로딩이 0.06초로). 설치 용량도 기본 의존성이 40% 줄었어요.
왜 중요한가
지금까지 로봇 학습은 “시뮬레이션에서 배우고 실제 환경에서 검증하는” 두 단계가 따로 놀았어요. 이번 업데이트가 의미 있는 건, 상상(예측)·평가(보상)·개선(재학습)이라는 세 단계를 하나의 오픈소스 프레임워크 안에 묶었다는 점이에요. 특히 보상 모델이 별도 작업별 학습 없이 바로 쓸 수 있다는 건, 지금까지 로봇 하나 배포할 때마다 사람이 붙어서 성공 여부를 판정하던 병목을 상당 부분 줄여줄 수 있다는 뜻이고요.
NVIDIA 같은 대형 하드웨어 기업의 모델을 오픈소스 코드베이스에 대조 테스트까지 거쳐 통합한 것도 눈여겨볼 부분이에요. 로봇 학습 생태계가 각자 다른 회사의 폐쇄적인 파이프라인으로 쪼개지는 대신, 하나의 공통 기반 위에서 서로 다른 회사의 모델을 갈아 끼우며 비교할 수 있는 방향으로 가고 있다는 신호로 읽혀요.
핵심 통찰
이번 릴리스를 관통하는 통찰은, 로봇 학습에서 막히는 지점이 달라지고 있다는 거예요. 예전에는 “행동을 얼마나 잘 만들어내는가”가 문제였다면, 이제는 “그 행동이 성공했는지 누가, 어떻게 판정하는가”가 새로운 병목이에요.
로봇 학습의 다음 병목은 더 나은 행동을 만드는 게 아니라, 그 행동이 성공했는지를 사람 없이 판정하는 일이었어요.
세계 모델과 보상 모델이 같은 릴리스에서 함께 등장한 것도 우연이 아니에요. 예측(상상)과 평가(판정)가 짝을 이뤄야 재학습(개선)까지 자동으로 굴러가는 루프가 완성되거든요.
My Take
이 릴리스를 보면서 제일 흥미로웠던 건 배포 전략 다섯 가지 중 DAgger 모드예요. 로봇을 그냥 돌리는 게 아니라, 실패하는 순간 사람이 개입하고 그 개입 자체가 다음 학습에 쓸 데이터가 되는 구조거든요. 이건 로봇공학을 몰라도 이해할 수 있는 원칙이에요. 실패를 감추지 않고 기록해서 다음 개선에 바로 쓰는 것, 이 태도는 사실 어떤 종류의 반복 개선 작업에도 적용되는 원칙이고요.
오픈소스로 이 정도 규모의 통합 파이프라인이 나온다는 것 자체가 로봇 스타트업이나 개인 연구자에게는 진입 장벽이 크게 낮아졌다는 뜻이에요. 관심 있다면 GitHub 저장소의 lerobot-eval부터 가볍게 시뮬레이션 벤치마크 하나를 돌려보는 걸 추천해요. 실제 로봇 하드웨어가 없어도 이 학습 루프가 어떻게 맞물려 돌아가는지 감을 잡을 수 있거든요.
Deep Dive
Three world models that make robots imagine first
A world model lets a robot picture the outcome of an action before actually taking it, and the three added here work differently. VLA-JEPA is a compact model built on Qwen3-VL-2B that predicts the future in latent space — the world-model supervision only applies during training, so there’s no added inference cost when the robot actually moves. LingBot-VA is an autoregressive model that predicts video and action jointly in chunks, continuously grounded by real observations fed back in, so its imagination doesn’t drift from reality. It runs on a single 24-32GB GPU and can log predicted rollouts against actual outcomes side by side. FastWAM fuses a roughly 5B-parameter video generation expert with a compact action expert into a single network, built around the question of whether a world-action model even needs to imagine the future every time at inference — so it skips the imagination step and denoises action chunks directly at runtime.
Five VLA models spanning a wide range of scale
VLA (Vision-Language-Action) models take in what the camera sees plus a language instruction and produce robot actions. What’s notable about the five added here is the spread in scale. NVIDIA’s GR00T N1.7 pairs a Qwen3-VL-based vision-language model with a flow-matching action head. Allen Institute for AI’s MolmoAct2 supports the full lifecycle from fine-tuning to deployment and runs at roughly 12GB in bf16. EO-1 pre-trains a Qwen2.5-VL-3B backbone on interleaved text-and-action data. Multitask DiT is a roughly 450M-parameter diffusion transformer following TRI’s Large Behavior Models recipe, letting natural language select among multiple tasks. The lightest, EVO1, is a 0.77B model that supports real-time chunking on consumer GPUs. The lineup spans research-lab-scale models down to something an individual can run — a deliberate move toward lowering the barrier to entry.
Reward models: the missing piece of the robot learning loop
The most labor-intensive part of robot learning has always been judging whether an attempt actually succeeded. A new lerobot.rewards API fills that gap. Robometer (lerobot/Robometer-4B) is a general-purpose reward model built on Qwen3-VL-4B and trained on over a million robot trajectories — it scores task progress and success from language instructions plus video, with no task-specific training required. TOPReward wraps an off-the-shelf VLM in a fully zero-shot approach, reading the probability of a “True” token given a trajectory video and task instruction.
How GR00T N1.7 was actually integrated
Hugging Face’s emphasis in integrating GR00T N1.7 was testing it against NVIDIA’s original Isaac-GR00T implementation for matching input and output — filtering out the subtle discrepancies (numerical precision, preprocessing differences) that commonly creep in when reimplementing a model across codebases. It supports optional flash attention and installs with a single pip install 'lerobot[groot]'.
Deployment that doubles as data collection
A new CLI tool, lerobot-rollout, turns actually running a robot into a data-collection process. There are five deployment strategies: Basic execution, Sentry (continuous logging with episode rotation and Hub uploads), Highlight (a ring buffer for the last N seconds), Episodic (per-episode/reset logging), and DAgger — which logs human interventions whenever the policy fails, with the leader arm driven to the follower’s pose for a smooth handover, and intervention-tagged data ready to feed straight back into fine-tuning.
A new lerobot-eval also integrates six simulation benchmarks (LIBERO-plus, RoboTwin 2.0, RoboCasa365, RoboCerebra, RoboMME, VLABench). LIBERO-plus alone runs roughly 10,000 variations across 7 axes like lighting and camera angle, while RoboCasa365 tests 365 cooking tasks across 2,500 procedurally generated kitchens.
Everything else
FSDP training support lets models too large for a single GPU train by sharding parameters across several. Hugging Face Jobs lets training run directly in the cloud. On the data side: depth-sensor support, VLM-based automatic language annotation, and parallel multi-camera decoding cut data loading time by up to 2x (a subset load that took 275 seconds now takes 0.06). Base install size also dropped 40%.
Why It Matters
Robot learning has long split into two disconnected stages: train in simulation, then validate in the real world. What matters here is that imagine (prediction), evaluate (reward), and improve (retraining) are now stitched into a single open-source framework. A reward model that works with no task-specific training removes a real bottleneck — the person who used to sit there judging every deployment’s success or failure.
It’s also worth noting that a hardware giant’s model (NVIDIA’s) got folded into an open codebase with matched-behavior testing, rather than staying locked in its own pipeline. That points toward robot learning consolidating around a shared foundation where models from different companies can be swapped in and compared, instead of fragmenting into closed silos.
Key Insight
The thread running through this release is that the bottleneck in robot learning is moving. It used to be “how well can we generate actions.” Now it’s “who judges whether that action actually worked, without a human in the loop” — and that’s the problem this release goes after.
The next bottleneck in robot learning wasn’t generating better actions — it was judging whether an action succeeded without a person watching.
World models and reward models arriving in the same release isn’t a coincidence. Prediction (imagine) and judgment (evaluate) have to pair up before retraining (improve) can run as a closed, automatic loop.
My Take
What I found most interesting here is the DAgger deployment mode. Instead of just running the robot, it captures the moment of failure as the moment a human steps in — and that intervention itself becomes the next round of training data. That’s a principle that doesn’t require knowing anything about robotics: recording failure instead of hiding it, and feeding it straight into the next improvement cycle, applies to any kind of iterative work.
An open-source pipeline at this level of integration is a meaningful drop in the barrier to entry for robotics startups and independent researchers. If you’re curious, a light way in is spinning up one simulation benchmark through lerobot-eval from the GitHub repo — you don’t need actual robot hardware to get a feel for how this learning loop fits together.