해당 포스팅의 코드는 https://github.com/Ssuwani/weather-forecast-dag 여기에 있습니다. 1주일치 날씨 데이터를 불러오는 DAG를 Airflow를 통해 작성합니다. 위 다이어그램과 같이 Airflow를 사용해 Open Weather API에서 Redshift로 데이터를 가져옵니다. 이 작업은 단계별로 두가지 방식으로 구현할 수 있습니다. Full Refresh: 데이터 소스에서 데이터가 로드될 때 발생하는 전체 데이터를 가져옴 Incremental Update: 데이터 소스에서 정기적으로 필요한 데이터를 가져옴 1. Full Refresh 데이터 소스로부터 데이터를 마치 처음 불러왔듯이 전부 가져오면 됩니다. 그렇게 하기 위해선 데이터를 불러 오기 전 테이블의 모든 레..
