Embedding model can be used to search text inside image

Reddit API 키가 없고 Wayback 스냅샷도 비어 있어서, 수집 때 받은 RSS 본문만 기준으로 옮겼어요. 글의 이미지, gist로 옮긴 데이터, 댓글은 보지 못했어요. 작성자 스스로 "과학적이지 않은 소수 세트 테스트이니 걸러 들으라"고 해요.

무엇을 했나

EmbeddingGemma 2 출시 뒤 몇 주 동안, 텍스트 쿼리 임베딩을 다듬어 가며 이미지(스크린샷) 속 글자를 찾는 실험을 했어요. 영어·한국어·일본어가 섞인 7개 세트, 총 22,448장의 스크린샷을 이미 색인해 뒀다고 해요.

TL;DR(EmbeddingGemma 2 기준)

| 관찰 | 내용 | |---|---| | 실용성 | Q8 330MB, 768차원치고 꽤 쓸 만함 | | 다국어 | 언어를 넘어 뜻을 어느 정도 이해하지만 유사도가 훨씬 낮음 | | 단어 선택 | blond와 blonde처럼 표현을 세심히 골라야 함(영어·한국어) | | 텍스트 vs 시각 | 텍스트가 코사인 유사도를 더 지배하고, 시각 특징을 덧붙이면 오히려 떨어지기도 함 |

수치 예시

| 쿼리 | 코사인 유사도 | 다음 후보와 차이 | |---|---|---| | 문장 '삼각건이 머리에 얹어졌다'가 있는 이미지 | 0.71156 | +0.00810 | | 같은 뜻의 영어 문장 쿼리 | 0.62414 | +0.00015 | | 대사 '삼각건이 머리에 얹어졌다'가 있는 이미지 | 0.75960 | +0.01774 | | 금발 소녀가 있는 이미지 | 0.68208 | +0.00250 | | 금발 소녀가 > < 표정을 짓는 이미지 | 0.76813(1위) | +0.01052 |

시각 특징이 덜 유용했던 건 이 세트 3,003장 중 약 90%에 금발 소녀가 있었기 때문일 수 있다고 해요. 텍스트가 정보 밀도가 더 높아서인지, 모델이 작아 시각 특징을 못 알아봐서인지는 모르겠다고 덧붙여요.