☀️ haejun

Today-·Total-

Airflow 설치 및 초기 설정

2 min read

Summary

  • Mac에 Docker Desktop을 설치한 후, Airflow용 하위 폴더들을 생성한다.
  • Python 가상환경에 apache-airflow를 설치하고, docker-compose.yaml을 다운로드·수정한다.
  • Airflow를 실행하고 DAG 파일 경로를 설정하면 초기 설치가 완료된다.

Docker 설치

방법1 (추천): Docker Desktop 설치

docker
docker --version

방법2: Brew로 설치

brew install cask docker  # Docker Desktop 설치 (추천)
brew install docker       # 가상머신 위 도커 (추가 설정 필요)

apache-airflow 설치

# 가상환경 생성
python -m venv ./venv
 
# airflow 설치
pip install "apache-airflow[celery]==2.9.1" --constraint \
"https://raw.githubusercontent.com/apache/airflow/constraints-2.9.1/constraints-3.8.txt"

docker-compose.yaml 설정

# docker-compose.yaml 다운로드
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.1/docker-compose.yaml'
 
# 하위 폴더 생성
mkdir -p ./dags ./logs ./plugins ./config
 
# 호스트, 컨테이너 파일 권한 설정
echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env
 
# DB 마이그레이션과 계정 생성
sudo docker compose up airflow-init

Airflow 실행

# 백그라운드 실행
sudo docker compose up -d
 
# 컨테이너 목록 확인
docker ps

경로 설정

- ${AIRFLOW_PROJ_DIR:-.}/dags:/opt/airflow/dags
- ${AIRFLOW_PROJ_DIR:-.}/logs:/opt/airflow/logs
- ${AIRFLOW_PROJ_DIR:-.}/config:/opt/airflow/config
- ${AIRFLOW_PROJ_DIR:-.}/plugins:/opt/airflow/plugins

환경 초기화

문제 발생 시 초기화 권장 

docker-compose down --volumes --remove-orphans
rm -rf <DIRECTORY>

Reference

Graph View