A harness that records where an LLM agent’s tool arguments came from, before the tool runs [P]

Reddit 원문은 자동 수집이 막혀(인증 키 없음, 아카이브 없음) 열지 못했어요. RSS 피드에 실린 본문 발췌만 바탕으로 정리했고, 댓글과 이미지·영상은 보지 못했어요.

무엇인가

글쓴이 u/Jay299792458은 AI 에이전트 안전을 고민하다 자기 결과를 검증하려고 테스트 하네스를 만들었어요. 모델을 연구하는 사람에게도 쓸모 있을 거라고 봐요.

하는 일

• 도구가 실행되기 전에 각 도구 인자가 어디서 왔는지 기록해요.
• 같은 입력이 같은 결정을 내는지 측정해요.
• 모델이 사용자의 말이 아니라 다른 사람의 텍스트(예: 문서나 웹페이지 속 지시)에서 인자를 가져오는지 시험해요. 프롬프트 인젝션 대응과 연결되는 부분이에요.

글쓴이는 하네스를 고치면 훨씬 많은 용도로 쓸 수 있을 거라고 해요.

저장소

GitHub Jang-woo-AnnaSoft/execution-state-preflight의 hooks-example 문서에 설명이 있어요.

참고

구체적인 실험 결과는 발췌에 없어요.