Go Airflow Part 5 — AWS 應用在同步資料的環節中，會遇到對於 AWS S3 的操作，AWS S3 在資料分析流程中常作為 Data Lake 角色，本篇主要來記錄 Airflow 與 S3 的搭配使用。Jun 26, 2022Jun 26, 2022
Go Airflow Part 3 — Remote LoggingAirflow 在執行 DAG 的過程中，會根據執行的 Tasks 來產生大量的 Log，處理 Log 的方式有 2 種，一種是可以刪除較舊的 Log，另種可以採用 Remote Logging 的方式保存。Jun 22, 2022Jun 22, 2022
Go Airflow Part 3 — GCP BigQuery 應用BigQuery 是 Google Cloud Platform (GCP) 引以為傲的商品，更有著最強分析工具的稱號，本篇記錄 Airflow 對於 BigQuery 的各種串接應用。Jun 21, 2022Jun 21, 2022
AWS Lambda 與 Python在 Workflow 中有個步驟是需要進行 Data Export，在這個環節中其實沒有太複雜的架構運算，便想趁這個機會實作AWS 無伺服器（Serverless）運算服務，以下來記錄一下實作的流程。Jun 20, 2022Jun 20, 2022
Go Airflow Part 2 — 安裝這次採用在 Linux Server 上本地逐步的架設 Airflow 服務，也是希望可以藉由這樣子的過程更加深入了解安裝細節，當然 Airflow 也可以提供 Docker 安裝的參考，日後可以再來嘗試看看。Jun 19, 2022Jun 19, 2022
