모델은 그대로인데 클로즈드 모델 수준이 나왔어요
NVIDIA와 LangChain이 공동 발표한 결과가 꽤 흥미로워요. NVIDIA Nemotron 3 Ultra가 LangChain Deep Agents 벤치마크에서 오픈 모델 중 최고 성능을 달성했는데, 그 방식이 예상 밖이에요. 모델을 새로 훈련하거나 파인튜닝한 게 아니라, 에이전트가 모델을 사용하는 환경을 다듬어서 얻은 결과예요(NVIDIA·LangChain 공동 발표 기준).
클로즈드 모델과 동등한 비즈니스 작업 성능, 추론 비용은 10분의 1. 2026년 7월 8일 발표됐어요.
핵심 요약
- NVIDIA Nemotron 3 Ultra: LangChain Deep Agents 벤치마크에서 오픈 모델 최고 성능. 주요 클로즈드 모델과 동등한 비즈니스 작업 수행 능력(NVIDIA·LangChain 공동 발표 기준).
- 추론 비용: 클로즈드 선도 모델 대비 10배 절감(10x lower inference cost per run).
- LangChain Deep Agents: 월 2억 회 이상 다운로드를 가진 에이전트 오케스트레이션 플랫폼.
- 성능 향상 방법: 모델 재훈련이 아니라 환경 엔지니어링. 시스템 프롬프트, 툴 설명, 미들웨어 조정.
- NVIDIA NemoClaw: 튜닝된 하니스(harness)와 OpenShell 보안 런타임을 결합한 오픈 레퍼런스 블루프린트.
- 도입 기업: Abridge, Amdocs, Box, EY.
Matching Closed Models Without Retraining
NVIDIA and LangChain’s joint announcement is worth paying attention to. NVIDIA Nemotron 3 Ultra achieved benchmark-leading performance among open models on the LangChain Deep Agents harness — and the way it got there is the interesting part. No retraining, no fine-tuning. The gains came from engineering the environment in which the model operates (per NVIDIA and LangChain’s joint announcement).
Equivalent business task performance to top closed models. One-tenth the inference cost. Announced July 8, 2026.
TL;DR
- NVIDIA Nemotron 3 Ultra: top open model performance on LangChain Deep Agents benchmark, matching top closed models on business tasks (per NVIDIA·LangChain joint announcement).
- Inference cost: 10x lower than leading closed models per run.
- LangChain Deep Agents: agent orchestration platform with 200+ million monthly downloads.
- How the gains were achieved: environment engineering — system prompts, tool descriptions, middleware tuning — not model retraining.
- NVIDIA NemoClaw: open reference blueprint combining a tuned harness with the OpenShell security runtime.
- Early adopters: Abridge, Amdocs, Box, EY.
환경 엔지니어링이란 뭔지, 왜 중요한지
모델 성능 = 모델 자체 + 사용 환경
일반적으로 AI 모델 성능을 높이려면 더 많은 데이터로 더 오래 훈련하거나, 도메인 데이터로 파인튜닝해요. 비용도 많이 들고 시간도 걸려요. 그런데 이번 결과는 다른 접근을 보여줘요.
시스템 프롬프트를 어떻게 쓰는지, 툴(tool use) 설명을 어떻게 구성하는지, 에이전트 간 통신을 어떻게 미들웨어로 처리하는지. 이런 “사용 환경”의 조정만으로 벤치마크 선두를 달성했어요. 모델은 그대로인데 결과가 달라진 거예요.
Harrison Chase, LangChain CEO는 이렇게 말했어요: “Memory, tool use, evaluation and model behavior compound when teams can tune them together.” 기억(memory)·툴 사용(tool use)·평가(evaluation)·모델 동작(model behavior)이 함께 조정될 때 효과가 쌓인다는 얘기예요.
NVIDIA NemoClaw
NVIDIA는 이 접근법을 누구나 쓸 수 있도록 오픈 레퍼런스 블루프린트로 공개했어요. 이름은 NemoClaw. 튜닝된 에이전트 하니스(harness — 에이전트가 모델을 사용하는 방식을 표준화한 구조)와 OpenShell 보안 런타임을 결합한 형태예요.
LangChain Deep Agents는 월 2억 회 이상 다운로드되는 에이전트 오케스트레이션 플랫폼이에요. 여기서 벤치마크 선두를 달성했다는 건 실제 사용 환경에서 검증됐다는 의미도 있어요.
왜 중요한가
오픈 모델 vs 클로즈드 모델 논쟁의 구도가 달라지고 있어요.
지금까지의 논리는 “클로즈드 모델이 성능이 더 좋다, 하지만 오픈 모델이 비용이 싸다”였어요. 그런데 이번 결과는 “성능도 같을 수 있고, 비용은 10분의 1”이라고 말해요. 성능 격차를 모델이 아니라 사용 환경 최적화로 메울 수 있다면, 오픈 모델의 경쟁력은 단순 비용 절감 이상이에요.
더 주목할 점은 방법론이에요. 모델을 재훈련할 필요 없이 환경 엔지니어링만으로 이 결과를 냈다는 건, 이미 오픈 모델을 쓰고 있는 팀이라면 추가 투자 없이도 같은 방향으로 개선해볼 수 있다는 뜻이에요.
핵심 통찰
AI 에이전트 성능의 절반은 모델에 있고, 나머지 절반은 모델을 어떻게 쓰느냐에 있다.
이게 새로운 주장은 아니에요. 프롬프트 엔지니어링이 중요하다는 건 다 알아요. 그런데 이번 결과는 그걸 벤치마크 수치로 보여준 거예요. “환경 최적화”가 감에 의존한 작업이 아니라, 측정하고 체계화할 수 있는 엔지니어링 영역이라는 걸요.
My Take
저는 이 결과가 “오픈 소스 모델이 좋아졌다”는 이야기보다, “에이전트 시스템 설계의 중요성”을 더 잘 보여준다고 봐요.
어떤 모델을 쓰느냐보다, 그 모델을 어떤 환경에서, 어떤 구조로 쓰느냐가 더 큰 변수가 될 수 있어요. 실제로 많은 팀이 더 좋은 모델로 교체하기 전에, 기존 모델의 사용 환경을 제대로 최적화해봤는지 물어봐야 해요.
직접 해볼 수 있는 것: LangChain을 쓰고 있다면 NemoClaw 레퍼런스 블루프린트를 살펴보세요. 모델을 교체하지 않고도 시스템 프롬프트·툴 설명·미들웨어 구성을 개선하는 방향이 먼저예요.
What Environment Engineering Means and Why It Matters
Model Performance = Model + Environment
The usual path to better AI model performance involves training on more data for longer, or fine-tuning on domain-specific data. It’s expensive and time-consuming. This result points to a different lever.
How you write the system prompt. How you structure tool descriptions. How you handle inter-agent communication via middleware. Tuning the environment — not the model — produced the benchmark-leading result.
Harrison Chase, LangChain’s CEO, framed it this way: “Memory, tool use, evaluation and model behavior compound when teams can tune them together.”
NVIDIA NemoClaw
NVIDIA has open-sourced this approach as a reference blueprint called NemoClaw — a combination of a tuned agent harness (a standardized structure for how agents use models) and the OpenShell security runtime.
LangChain Deep Agents has 200+ million monthly downloads. Hitting benchmark-leading performance there means the result is validated against real-world usage patterns.
Why It Matters
The framing of the open vs. closed model debate is shifting.
The previous logic: “closed models perform better, but open models cost less.” This result says: “performance can be equivalent, at one-tenth the cost.” If the performance gap is filled by optimizing the environment rather than the model itself, open models are no longer just a cheaper option — they’re a viable primary choice.
The methodology is the more important story. If you can achieve these gains without retraining, teams already running open models can improve performance with existing infrastructure.
Key Insight
Half of agent AI performance lives in the model. The other half lives in how you use it.
This isn’t a new argument. Everyone knows prompting matters. But this result quantifies it — showing that “environment optimization” isn’t intuition-based work, it’s a measurable, systematizable engineering domain.
My Take
I think this result shows less about “open source models getting better” and more about the importance of agent system design.
Which model you pick matters less than how you deploy it, in what structure, in what environment. Many teams should ask whether they’ve properly optimized their existing model’s environment before switching to a better one.
What you can do: if you’re on LangChain, look at the NemoClaw reference blueprint. The priority is improving your system prompts, tool descriptions, and middleware configuration — before swapping the model.
댓글Comments