Got a pretrained music transformer to jam with me live, no fine-tuning, just steering the sampling [P]

Reddit이 자동 수집을 막아 RSS 피드에 실린 본문을 기준으로 옮겼어요. 영상은 보지 못했어요.

무엇을 해 봤나요

작성자 u/GGAllin43은 사전학습된 기호(symbolic) 음악 모델을 학습 없이 라이브 연주자에게 '귀 기울이게' 할 수 있는지 시험했어요. 결과는 꽤 잘 됐대요.

구성

• 작성자가 MIDI 키보드를 치면, Anticipatory Music Transformer(Thickstun 외, music-medium-800k)가 두 번째 피아노를 쳐요.
• 연주하는 동안 조성, 누르고 있는 화음, 템포를 추적해서, 샘플링 전에 로짓에 편향을 더해요.

어떻게 조절하나요

• 조성 밖의 음은 낮추고, 화음 구성음과 텐션은 높여요.
• 연주자 손 주변 건반은 낮춰서 모델이 연주를 밟지 않게 해요.
• 연주자가 멈추면 멜로디가 있을 만한 음역으로 끌어올려요.
• 마지막 프레이즈의 음정을 이어 가는 쪽에 작은 가산점을 줘서 대답하는 것처럼 들리게 해요.
• 약 1초 앞을 샘플링하고, 화음이 바뀌면 계획한 걸 버리고 다시 샘플링해요.
• Jetson Orin Nano에서 돌아가고, 영상과 코드는 GitHub(RiccardoCataldi/duetto)에 있어요.

질문

모든 오프셋을 귀로 직접 맞춰서 좀 어설프게 느껴진대요. 작은 학습형 조건 헤드나 가이던스 방식처럼 더 원칙적인 방법을 기호 모델에 써 본 사람이 있는지 물었어요.