HAEJUN RECORDS
Home
Topics
Archive
Search
Search
Dark mode
Light mode
Home
❯
Data Engineering
❯
Airflow
Airflow
10 notes · 3 sections
Connection과 Hook
2
Getting Started
3
PythonOperator
5
Connection과 Hook
2
폴더
열기 →
폴더 소개
Connection과 Hook
Connection은 Airflow UI 화면에서 등록한 커넥션 정보다.
2026-07-02
Docker Compose 구조 해석
docker-compose는 1개 이상의 도커 컨테이너 생성 시 스크립트 하나(docker-compose.yaml)로 컨테이너들의 설정을 관리하는 목적을 가진다.
2026-07-02
Postgres 컨테이너 연동
postgres_custom 컨테이너 서비스를 services: 하위에, 관련 volumes 항목도 함께 추가한다.
Getting Started
3
폴더
열기 →
2026-07-02
Airflow 개념 및 작동 원리
도커는 앱을 독립적 환경에서 실행시키는 컨테이너화 플랫폼으로, Airflow 설치 방법 중 하나다.
2026-07-02
Airflow 설치 및 초기 설정
Mac에 Docker Desktop을 설치한 후, Airflow용 하위 폴더들을 생성한다.
2026-07-02
Airflow 패키지 설치
requirements.txt에 설치할 패키지명과 버전을 작성한다.
PythonOperator
5
폴더
열기 →
2026-07-02
외부 함수 사용하기
Airflow는 자동으로 dags 폴더와 plugins 폴더를 sys.path에 추가한다.
2026-07-02
op_args와 op_kwargs
PythonOperator의 op_args는 list로 작성한다.
2026-07-02
Python Operator 기본
PythonOperator는 사용자가 만든 함수를 실행시켜주는 오퍼레이터다.
2026-07-02
Python Operator 파라미터
부가적인 변수들을 함수에 사용하기 위해 args, kwargs를 활용한다.
2026-07-02
Task 데코레이터
Task 데코레이터는 Python 데코레이터의 기능을 airflow task로 활용한다.