A practical guide to AI image generation, from diffusion to agents

원문이 매우 긴 가이드라 앞부분(요약, 역사, 손가락·글자 문제, 디퓨전 원리 도입부)을 기준으로 옮겼어요. 뒷부분의 제공사별 비교와 코드 예시는 읽지 못했어요.

이 가이드는 무엇인가요

Daniel Ball이 쓴 AI 이미지 생성 안내서예요. 모델이 대략 어떻게 동작하는지, 어떤 종류가 있는지, 짧은 역사, ChatGPT로 실제로 얻을 수 있는 것, 그리고 자기 코드와 에이전트에 이미지 생성을 넣는 방법을 다뤄요. 저자가 Python으로 여러 이미지 제공사를 직접 호출해 본 실험이 바탕이에요. 픽셀 아트 스프라이트, 사진 같은 카드 테이블 배경, AI 티가 나지 않는 레스토랑 포스터 시리즈 등을 만들어 봤대요.

요점 정리

• 대부분 모델은 노이즈에서 시작해 깨끗하게 다듬어요. 텍스트가 그 정리 과정을 이끌어요. 새 모델은 그림을 먼저 계획하기도 해요.
• 내용이 아니라 캔버스 값을 내요. 밋밋한 나무 탁자나 정교한 유화나 같은 값이에요.
• ChatGPT는 가장 쉽지만 가장 통제하기 어려워요. 한 번 쓰는 이미지나 대화형 수정에는 좋아요.
• 가격 차이가 100배가 넘어요. 장당 1센트 미만부터 15센트 이상까지 있고, 로컬 실행은 공짜예요. 가장 싼 모델이 가장 싼 결과를 주는 건 아니래요.
• API는 계속 바뀌어요. 모델이 몇 주 예고로 은퇴하고, 제공사가 파라미터를 조용히 무시하기도 해요.
• 어떻게 보여야 하는지보다 어떻게 만들어졌는지를 묘사하세요. 카메라, 필름, 인쇄 방식, 레이아웃을 쓰면 결과가 좋아진대요.
• 철자와 손가락은 더 이상 단서가 아니에요. 이제 티는 취향에서 나요. 과한 빛, 과한 드라마 같은 것이요.
• 에이전트가 이 일을 잘해요. 멀티모달 에이전트가 프롬프트를 쓰고, API를 부르고, 결과를 보고 다시 시도할 수 있어요.
• 최고의 파이프라인은 하이브리드예요. 창의적인 부분은 AI에, 크기 조정처럼 정확해야 하는 부분은 일반 코드에 맡겨요.

짧은 역사

• 2014 GAN: Ian Goodfellow의 생성적 적대 신경망이 이미지를 만드는 망과 가짜를 가려내는 망을 겨루게 했어요.
• 2018: 흐릿한 GAN 초상화 'Edmond de Belamy'가 경매에 나왔어요.
• 2021 DALL-E: OpenAI가 텍스트와 이미지를 한 모델로 연결했어요.
• 이후 Stable Diffusion이 약 7GB 비디오 메모리의 게이밍 PC에서 돌아가며 큰 커뮤니티가 생겼고, SDXL과 ChatGPT 안의 DALL-E 3가 뒤를 이었어요.
• 2024 Flux: 전 Stable Diffusion 연구자들이 Black Forest Labs를 세워 Flux를 냈고, 기본 오픈 웨이트 모델이 됐어요.
• 2025 네이티브 이미지 모델: OpenAI가 GPT-4o 안에 이미지 생성을 넣었고 '지브리' 유행이 일었어요. 지금은 OpenRouter에만 60개가 넘는 이미지 모델이 올라와 있대요.

손가락과 글자는 왜 틀렸나요

손은 복잡하고 유연하며 사진에서 자주 가려져 있어서, 모델이 손가락 개수가 아니라 질감으로 손을 배웠대요. 글자는 프롬프트를 글자가 아니라 단어 조각(토큰)으로 읽기 때문에, 모델이 'chocolate'의 철자를 볼 수 없었던 게 원인이에요. 2022년 논문 *Character-Aware Models Improve Visual Text Rendering*이 글자 단위 정보를 주면 상당 부분 해결된다는 걸 보였고, 2025년쯤에는 OpenAI와 Google의 멀티모달 모델이 읽을 수 있는 글자를 일반적인 것으로 만들었어요. 다만 긴 글자는 아직 완전히 풀리지 않았대요.