컨텍스트 엔지니어링의 현주소

컨텍스트 엔지니어링은 사라지지 않아요

저자는 O'Reilly에 낼 『The Context Engineering Handbook』을 준비하며, "몇 주 뒤면 낡은 책이 되지 않느냐"는 질문을 받았대요. 답은, 사람에게도 지시와 아이디어를 정확히 전달하는 일이 어려운 것처럼 AI에도 명확하고 일관된 지시는 모델이 아무리 좋아져도 남는 과제라는 거예요. 다만 모델은 사람이 아니라서 실패 방식이 독특하대요.

긴 컨텍스트가 만능은 아니었어요

2024년 말 "RAG is dead" 분위기 속에 Gemini 1.5의 백만 토큰, Llama 4 Scout의 천만 토큰 이야기가 나왔지만, Scout는 추론 부담 등으로 크게 퍼지지 못했고, 긴 창에는 더 많은 오류도 들어갔어요. 저자가 정리한 실패 유형은 네 가지예요.

| 유형 | 뜻 | |---|---| | Context poisoning | 들어가면 안 될 환각·잘못된 사실이 들어와 모델이 못 벗어남 | | Context distraction | 컨텍스트가 커지며 기반 지식보다 대화 이력에 끌림 | | Context confusion | 문제와 무관한 사실이 답을 미묘하게 바꿈 | | Context clash | 도구·스킬·하네스 정보가 서로 충돌 |

포켓몬 에이전트 예시에서는 FireRed의 "아이스티" 과제가 가중치에 남아, 원작(레몬에이드)을 플레이하는데도 차에 고착된 poisoning이 나왔대요. Camassa·Shiller의 실험에서는 "답을 러시아어로"라는 지시 뒤에 프랑스어 예시가 쌓이면, 작은 모델은 금방, Opus 4.6도 예시가 많아지면 지시를 어기기 시작했어요. Gemini 2.5 기술 보고서 부록에는 컨텍스트가 10만 토큰을 크게 넘으면 새 계획보다 과거 행동을 반복한다는 관찰이 있었대요.

도구 상자

놀랍게도 새 과제가 생겨도 도구 상자는 비슷하대요. 소개된 축은 컨텍스트 보강(RAG·스킬 등), 도구 로드아웃, 그리고 언제 결정적으로 처리하고 언제 확률적으로 맡길지 나누는 설계예요. 발표 제목도 "언제 결정적으로, 언제 확률적으로 할지 아는 것이 일"이었어요.