Orchestrating TFX Pipelines

Apache Airflow

Apache Airflow 是一個以程式設計方式編寫、排程及監控工作流程的平台。TFX 使用 Airflow 將工作流程編寫為任務的有向無環圖 (DAG)。Airflow 排程器在遵循指定依附關係的情況下,於一系列工作站上執行任務。豐富的命令列公用程式讓使用者可以輕鬆對 DAG 執行複雜操作。豐富的使用者介面讓使用者可以輕鬆視覺化在生產環境中執行的管線、監控進度,並在需要時排除問題。當工作流程定義為程式碼時,會更易於維護、版本化、測試及協作。

如需安裝及使用 Apache Airflow 的詳細資訊,請參閱 Apache Airflow