協調 TFX 管線

自訂協調器

TFX 的設計旨在可攜性至多種環境和協調架構。除了 TFX 支援的預設協調器 (即 Local、Vertex AI、Airflow 和 Kubeflow) 之外，開發人員可以建立自訂協調器或新增其他協調器。

所有協調器都必須繼承自 TfxRunner。TFX 協調器會採用邏輯管線物件 (其中包含管線引數、元件和 DAG)，並負責根據 DAG 定義的依附關係排程 TFX 管線的元件。

例如，讓我們看看如何使用 BaseComponentLauncher 建立自訂協調器。BaseComponentLauncher 已處理單一元件的驅動程式、執行器和發布者。新的協調器只需要根據 DAG 排程 ComponentLauncher 即可。簡易協調器以 LocalDagRunner 的形式提供，其會依 DAG 的拓撲順序依序執行元件。

此協調器可用於 Python DSL

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

若要執行上述 Python DSL 檔案 (假設其名為 dsl.py)，只需執行下列動作

python dsl.py