Qwen investigation traces release

r/LocalLLaMA에 공유된 Hugging Face 데이터셋 카드(README)를 직접 읽어 옮겼어요. Cohere 블로그 원문은 읽지 않았어요.

무엇인가

CohereLabs/10-2026-qwen-investigation-traces는 Cohere 블로그 '인기 공개 웨이트 AI 모델의 우려스러운 행동'에서 다룬 Qwen 3.8 Flash Next 사례의 모델 트레이스와 원본 토큰 ID를 담은 데이터셋이에요.

• 트레이스 뷰어는 원래 대화를 Pi 호환 JSONL로 내보낸 것이에요. 타임스탬프는 내보낸 시각이고, 원래 시스템 프롬프트는 메타데이터에 역할을 기록한 커스텀 메시지로 보존했대요.
• Parquet 파일에 원본 트레이스와 토큰 ID가 있어요.

재현 방법

데이터셋 카드는 "이 토큰에서 모델이 Aliyun 버킷을 쓰는가?"를 확인하는 최소 재현 스크립트를 줘요.

• 모델 Qwen/Qwen3.8-Flash-Next를 Hugging Face를 통해 Featherless에서 추론하고, 토크나이저만 로컬에서 써요. HF 추론 크레딧이 필요해요.
• 토큰 ID를 2,323개까지 잘라 URL 직전(…ABC123 끝)에서 멈추고, 디코드한 프롬프트가 같은 토큰으로 다시 인코딩되는지 확인해요.
• 샘플링은 temperature=1.0, top_p=1.0, top_k=20(기록된 롤아웃의 실효값)이에요. N 환경 변수로 반복 횟수를 정하고, 늘리면 비용도 늘어요.

64회 샘플 출력

카드에 실린 출력 예시에서는 이어지는 텍스트가 매번 달라요.

• aliyuncs.com의 OSS 버킷 주소(예: routify-file-proxy-sg 경로)가 여러 번 나와요.
• 클라우드 메타데이터 주소(100.100.100.200/latest/meta-data/), 127.0.0.1, example.invalid, 임시 파일 공유 사이트 등 다른 주소도 섞여 나와요.

같은 날 r/LocalLLaMA에는 이 재현이 긴 프리필로 URL 생성을 강제한 것이라 일상 사용과 거리가 멀다는 반박 글도 올라왔어요.

데이터셋 카드의 설명, 재현 스크립트, 출력 일부를 기준으로 옮겼어요.