Maxwell: a new model that speeds up AI models like Whisper and LTX-2 by rewriting their binaries [D]

Reddit API 키가 없고 Wayback 스냅샷도 없어 글 페이지와 댓글을 읽지 못했어요. 수집 때 받은 RSS 본문은 짧은 소개뿐이고 Maxwell 공식 자료도 읽지 않아 blocked로 표시했어요.

글 내용

작성자(u/EvilHackFar)는 오늘 이걸 봤는데 여기서 아직 논의되지 않은 것 같다며 소개해요.

• Maxwell은 실행 중인 프로그램 아래에 자리 잡고, 보이는 하드웨어와 데이터를 바탕으로 프로그램을 실시간으로 빠르게 하는 새로운 종류의 모델이라고 해요.
• 소스 코드는 바꾸지 않고 실행 중에 바이너리를 고쳐요. JIT와 비슷하지만, 정해진 컴파일러 휴리스틱 대신 모델이 무엇을 바꿀지 정한다는 점이 달라요.
• 작성자가 가장 놀란 점은 최적화한 버전이 같은 동작을 한다는 걸 형식 검증(formal verification)으로 증명하는 것 같다는 부분이에요. 아무도 확인하지 않는 상태로 이런 걸 풀어 두려면 그 방법뿐일 거라고 봐요.

남은 의문

작성자 스스로도 부동소수점이나 비결정적 동작에서 이 방식이 어떻게 버티는지는 모르겠다고 했어요. 제목에 나온 Whisper, LTX-2의 속도 향상 수치는 RSS 본문에 없어 옮기지 않았어요.