사람 레드팀이 감당 못 하는 속도로 AI가 AI를 공격해요
AI 안전 연구에서 레드팀은 필수예요. 모델이 실제로 어떤 공격에 취약한지 직접 시도해보는 사람들이죠. 문제는 확장이 안 된다는 거예요. 숙련된 사람이 직접 공격 시나리오를 설계하고 실행하는 방식으로는, 모델 능력이 빨라지는 속도를 따라갈 수 없어요.
OpenAI가 이 문제를 AI로 풀기로 했어요. 2026년 7월 15일 공개된 GPT-Red는 AI가 AI를 공격해 스스로를 단련시키는 자동화 레드팀 모델이에요.
※ 이 글의 모든 수치·구체 내용은 MarkTechPost, XenoSpectrum 등 2차 보도를 교차 확인한 결과예요. OpenAI 공식 페이지는 현재 웹 크롤러 접근이 차단된 상태라 1차 소스를 직접 확인하지 못했어요. 원문 확인: openai.com/index/unlocking-self-improvement-gpt-red
핵심 요약
- OpenAI, 내부 전용 자동화 레드팀 모델 GPT-Red 공개 (외부 배포 없음)
- 자기 대결(self-play) 강화학습으로 공격자·수비자 모델 동시 훈련
- 간접 prompt injection 시도에서 GPT-Red 성공률 84% vs. 인간 레드팀 13% (2차 보도 기준)
- GPT-5.6 Sol의 직접 prompt injection 실패율 0.05%까지 낮추는 데 기여 (2차 보도 기준)
- 기존 미지의 공격 유형 “Fake Chain-of-Thought” 독자 발견 (2차 보도 기준)
AI Attacking AI to Harden Itself
Red-teaming is a cornerstone of AI safety — humans probing models to find real vulnerabilities. The problem is scale. Skilled humans designing and running attack scenarios can’t keep pace with how fast model capabilities are advancing.
OpenAI decided to solve that with AI. GPT-Red, announced on July 15, 2026, is an automated red-teaming model that attacks AI systems to identify and close their vulnerabilities.
⚠ All specific figures in this post are drawn from secondary reporting (MarkTechPost, XenoSpectrum) cross-checked for consistency. OpenAI’s official page was inaccessible to web crawlers at time of writing. Original source: openai.com/index/unlocking-self-improvement-gpt-red
TL;DR
- OpenAI releases GPT-Red, an internal-only automated red-teaming model (not publicly deployed)
- Built on self-play reinforcement learning — attacker and defender models train simultaneously
- Indirect prompt injection: GPT-Red 84% success rate vs. human red team 13% (per secondary reporting)
- Used in GPT-5.6 Sol production training, bringing direct prompt injection failure rate to 0.05% (per secondary reporting)
- Independently discovered a novel attack type: “Fake Chain-of-Thought” (per secondary reporting)
GPT-Red가 작동하는 방식
공격자와 수비자가 동시에 훈련돼요
GPT-Red의 핵심은 자기 대결(self-play) 강화학습이에요. 공격자 모델(attacker)과 수비자 모델(defender)이 동시에 훈련되는 구조예요.
수비자 모델의 조건이 흥미로운데, 공격을 막으면서 동시에 원래 사용자 태스크도 완료해야 해요(2차 보도 기준: XenoSpectrum). “막으면서도 제대로 일해라”예요. 실제 배포 환경의 조건을 훈련에 그대로 반영한 거예요.
사람이 완전히 빠지는 건 아니에요. 위협 모델 설계, 보상 기준, 공격 데이터의 프로덕션 반영 여부는 사람이 최종 통제해요(2차 보도 기준: XenoSpectrum). OpenAI는 이 시스템이 “인간의 감독을 대체하는 게 아니라 보완하는 것”이라고 밝혔어요.
어떤 공격 시나리오를 다루나요
prompt injection은 AI 에이전트가 처리하는 외부 콘텐츠(이메일, 문서, 웹페이지)에 악의적인 명령을 숨겨 에이전트를 의도하지 않은 방향으로 유도하는 공격이에요.
직접(direct) prompt injection은 사용자가 직접 모델에 악의적인 명령을 주입하는 방식이고, 간접(indirect) prompt injection은 에이전트가 읽어오는 외부 콘텐츠에 숨겨두는 방식이에요. 에이전트가 늘어날수록 간접 방식이 더 위험해져요.
GPT-Red가 시도한 실제 시나리오를 보면 실체가 드러나요: 자판기 에이전트에 침투해 가격을 바꾸거나 주문을 조작하거나, Codex CLI 에이전트를 이용해 데이터를 탈취하는 시도예요(2차 보도 기준: MarkTechPost). 학술적 공격이 아니라 실제 배포 환경에서 일어날 수 있는 공격이에요.
GPT-Red가 스스로 발견한 새 공격 유형
GPT-Red가 특히 주목받는 이유 중 하나는 사람이 미리 설계하지 않은 공격 방법을 스스로 발견했다는 점이에요. “Fake Chain-of-Thought”라고 이름 붙여진 공격인데, 모델의 사고 과정(Chain-of-Thought)에 위조된 추론 항목을 삽입해 판단을 오염시키는 방식이에요(2차 보도 기준: MarkTechPost).
이게 중요한 이유는, Chain-of-Thought 자체가 모델의 신뢰도를 높이는 기술로 알려져 있기 때문이에요. “내가 어떻게 생각했는지 보여주는” 과정이 조작될 수 있다는 걸 GPT-Red가 먼저 발견한 거예요.
수치로 보는 결과
모두 2차 보도 기준이에요:
| 평가 항목 | 결과 |
|---|---|
| GPT-5.1 간접 prompt injection: GPT-Red 성공률 | 84% |
| GPT-5.1 간접 prompt injection: 인간 레드팀 성공률 | 13% |
| Fake Chain-of-Thought: GPT-5.6 Sol 대비 성공률 | 10% 미만 |
| GPT-5.6 Sol 직접 prompt injection 실패율 | 0.05% |
| GPT-Red 강공격의 GPT-5.6 유효율 | 23% 미만 (GPT-5 Aug 2025 대비 90%+에서 감소) |
GPT-Red 자체는 외부에 배포되지 않아요. 가중치, 코드, 학습 데이터 모두 공개하지 않았어요(2차 보도 기준: XenoSpectrum).
왜 중요한가
레드팀의 병목은 확장성이에요. 숙련된 사람이 직접 공격을 설계하는 방식은 비용과 시간 면에서 모델 개발 속도를 따라가기 어려워요. OpenAI 스스로도 “현재 접근법은 스케일링 불가”라고 명시했다고 해요(2차 보도 기준).
GPT-Red가 제시하는 해법은 안전과 능력의 공진화(co-evolution)예요. 모델이 더 강해질수록 그 모델을 공격하는 레드팀 AI도 같이 강해지고, 그 공격을 막는 과정이 다음 프로덕션 모델의 훈련으로 이어지는 거예요.
간접 prompt injection은 AI 에이전트 배포가 늘면서 실제 위협이 되고 있어요. 사람 레드팀이 13%를 잡을 때 GPT-Red가 84%를 잡는다는 건(2차 보도 기준), 에이전트 시대의 안전은 이전 방법론만으로는 충분히 감당하기 어렵다는 신호예요.
핵심 통찰
레드팀도 AI로 대체되기 시작했어요. 안전과 능력의 공진화(co-evolution)가 시작된 거예요.
GPT-Red가 보여주는 패턴은 단순히 “AI가 더 빠르다”가 아니에요. AI가 사람이 설계하지 않은 공격 유형을 발견하고, 그 발견이 다음 모델의 방어 훈련으로 이어지는 루프예요.
이 루프가 실제로 GPT-5.6 Sol의 프로덕션 훈련에 적용됐다는 건(2차 보도 기준) 중요해요. 실험실 연구가 아니라 실제 배포된 모델을 만드는 과정에 들어간 거예요. AI 안전 연구가 제품 개발 사이클 안으로 들어오고 있다는 신호예요.
My Take
저는 이 발표에서 “Fake Chain-of-Thought” 발견이 가장 흥미로워요.
Chain-of-Thought은 모델이 “어떻게 생각했는지”를 보여주는 방법으로, 모델의 신뢰성을 높이는 기술로 주목받아 왔어요. 그런데 GPT-Red가 이 사고 과정 자체를 조작하는 공격을 먼저 발견했다는 건, AI가 안전 연구에 기여하는 방식이 단순 반복 시도와는 다르다는 걸 보여줘요.
동시에 걱정도 생겨요. GPT-Red의 가중치와 코드가 비공개인 건 이해해요. 그런데 Fake Chain-of-Thought 같은 공격 유형이 알려진 이상, 비슷한 시도를 막을 방법은 없어요. 방어 도구 없이 공격 유형만 공개되는 상황이에요.
지금 AI 에이전트를 업무에 쓰고 있다면, 에이전트가 처리하는 외부 콘텐츠(이메일, 웹 검색 결과, 문서)가 간접 prompt injection 경로가 될 수 있다는 걸 알아두는 게 좋아요. 특히 에이전트가 외부 정보를 읽고 실제 행동(파일 쓰기, API 호출, 이메일 전송)을 하는 워크플로우라면요.
How GPT-Red Works
Attacker and Defender Train Simultaneously
GPT-Red runs on self-play reinforcement learning — an attacker model and a defender model training against each other at the same time.
The defender’s constraint is worth noting: it must block attacks while still completing the original user task (per secondary reporting: XenoSpectrum). “Stop the attack and keep doing your job.” That’s the actual constraint AI agents face in production. Baking it into training means the model is being hardened against real-world conditions, not sanitized benchmarks.
Humans don’t step out of the loop entirely. Threat model design, reward criteria, and whether attack data gets incorporated into production training are all controlled by humans (per secondary reporting: XenoSpectrum).
What Attack Scenarios Does GPT-Red Target?
Prompt injection is the attack of hiding malicious commands inside content an AI agent processes — emails, documents, web pages — to redirect the agent’s behavior without the user knowing.
Direct prompt injection is a user doing it themselves. Indirect prompt injection is hiding the command in external content the agent reads. As agents process more external content, indirect injection becomes more dangerous.
GPT-Red tested real scenarios: compromising a vending machine agent to change prices or redirect orders, or exploiting a Codex CLI agent to exfiltrate data (per secondary reporting: MarkTechPost). Not theoretical attacks — scenarios that reflect actual deployment contexts.
GPT-Red Discovered an Attack Nobody Designed
One of the notable aspects: GPT-Red independently discovered an attack type humans hadn’t specified in its training. “Fake Chain-of-Thought” — inserting fabricated reasoning items into a model’s Chain-of-Thought process to corrupt its judgment (per secondary reporting: MarkTechPost).
Chain-of-Thought is supposed to increase model trustworthiness by showing the reasoning process. GPT-Red found that the reasoning process itself can be poisoned. An AI discovering a new attack class rather than just executing pre-designed ones is a different category of result.
Results by the Numbers
All figures per secondary reporting:
| Metric | Result |
|---|---|
| GPT-Red vs. GPT-5.1 indirect injection: GPT-Red success rate | 84% |
| GPT-Red vs. GPT-5.1 indirect injection: human red team success rate | 13% |
| Fake Chain-of-Thought vs. GPT-5.6 Sol success rate | Below 10% |
| GPT-5.6 Sol direct prompt injection failure rate | 0.05% |
| GPT-Red strong attacks effective vs. GPT-5.6 | Below 23% (down from 90%+ vs. GPT-5 Aug 2025) |
GPT-Red itself is not publicly released. Weights, code, and training data remain undisclosed (per secondary reporting: XenoSpectrum).
Why It Matters
The bottleneck in red-teaming has always been scalability. Skilled humans designing attacks by hand can’t keep up with the pace of model development. OpenAI explicitly said current approaches don’t scale (per secondary reporting).
GPT-Red’s answer is co-evolution: models get stronger, the AI attacking them gets stronger, and closing those attack surfaces feeds directly into the next production model’s training. The loop was applied to GPT-5.6 Sol’s actual production training (per secondary reporting) — not a research prototype.
Indirect prompt injection is becoming a real deployment risk as AI agents handle more external content. When a human red team catches 13% and GPT-Red catches 84% of the same attack type (per secondary reporting), that gap tells you something about the coverage you get from human-only approaches in an agentic world.
Key Insight
Red-teaming is starting to be automated by AI. Safety and capability are beginning to co-evolve.
The pattern GPT-Red demonstrates isn’t just “AI is faster than humans.” It’s AI discovering attack classes that humans didn’t specify, and those discoveries feeding back into the next model’s defenses.
That loop entered production training for GPT-5.6 Sol (per secondary reporting). Not a lab experiment — it shaped an actually deployed model. If that pattern holds, AI safety research stops being something that happens adjacent to product development and starts being built into the development cycle itself.
My Take
The Fake Chain-of-Thought discovery is what stands out most to me here.
Chain-of-Thought has been celebrated as a way to make AI reasoning more transparent and trustworthy. GPT-Red finding that the reasoning process itself can be manipulated — and finding that without being explicitly told to look for it — shows that AI contributing to safety research isn’t just about running more iterations. It’s about finding things humans might not have thought to look for.
There’s a concern that comes with that, though. The attack type is now public (even if GPT-Red’s weights aren’t). Disclosure without public defense tools is a real tradeoff — others can attempt similar attacks before defenses are widely available.
If you’re using AI agents in your workflow — anything that reads external content (emails, search results, documents) and takes real actions (writing files, calling APIs, sending messages) — indirect prompt injection is a vector worth understanding. The attack doesn’t require technical sophistication from the attacker. It just requires getting content in front of the agent.
댓글Comments