Parquet가 현대 데이터 엔지니어링을 지배하는 이유 [영상]

원문은 YouTube 영상이라 자동으로 내용을 읽을 수 없었어요. GeekNews 소개글을 기준으로 정리했어요.

요점

Parquet는 같은 열의 값을 모아 저장해서, 큰 데이터에서 필요한 열만 빨리 읽는 파일 형식이에요. CSV처럼 모든 줄을 훑고 텍스트를 숫자로 바꾸는 일을 줄여 분석과 모델 학습에 유리하대요.

실험: CSV vs Parquet

• 택시 운행 약 1,000만 건의 평균 요금을 구하는 함수는 거의 1GB짜리 CSV에서 0.2초 미만이 걸렸어요.
• 입력만 Parquet로 바꾸자 파일 크기는 6분의 1, 실행 시간은 7ms로 27배 빨라졌어요.
• CSV 읽기는 Polars가 가장 빨랐고 DuckDB는 3배 이상, pandas는 10배 이상 느렸어요. 그래도 pandas조차 Parquet 요금 열을 Polars의 CSV 읽기보다 7배 빨리 읽었어요. 형식 자체의 효과라는 거예요.

왜 빠른가요

• CSV 한 줄엔 값 19개가 쉼표로 구분돼 있어, 요금을 찾으려면 모든 문자를 읽고 쉼표를 세야 해요. Parquet는 요금을 한곳에 모아 둬서 다른 열을 건너뛰어요.
• CSV는 17.7달러를 1, 7, ., 7 네 문자로 저장해 읽을 때마다 파싱해야 하고, 자료형도 저장하지 않아 추론이 틀릴 수 있어요(PyArrow와 Polars 예제에서 실패).
• 반복 값은 사전과 반복 횟수, 적은 비트로 표현한 뒤 다시 압축해요. 압축 방식과 행 정렬 순서에 따라 크기와 속도가 달라져요.
• 행 그룹별 최솟값·최댓값으로 조건에 안 맞는 구간을 건너뛰어요. 자주 거르는 열로 정렬하면 효과가 크고, 잘못된 값 몇 개가 범위를 넓혀 불필요한 읽기를 부를 수도 있어요.

언제 무엇을 쓰나요

한 행씩 조회·추가하는 서비스에는 행 지향(CSV, JSON Lines, Avro), 많은 행의 일부 열을 읽는 분석과 학습에는 열 지향(Parquet, ORC, Feather)이 맞아요. 언어 모델이 함수를 쉽게 써 줘도 저장 형식은 사람이 실제 읽기·쓰기 방식을 보고 골라야 한대요.