ExampleValidator TFX 管道元件

ExampleValidator 管道元件可識別訓練和服務資料中的異常。它可以偵測資料中不同類型的異常。例如，它可以

  1. 藉由比較資料統計資料與編纂使用者期望的結構描述，執行有效性檢查。
  2. 藉由比較訓練和服務資料，偵測訓練-服務偏斜。
  3. 藉由查看一系列資料，偵測資料偏移。
  4. 使用以 SQL 為基礎的設定執行自訂驗證。

ExampleValidator 管道元件藉由比較 StatisticsGen 管道元件計算出的資料統計資料與結構描述，來識別範例資料中的任何異常。推論出的結構描述編纂了輸入資料預期應滿足的屬性，且可由開發人員修改。

  • 取用：來自 SchemaGen 元件的結構描述，以及來自 StatisticsGen 元件的統計資料。
  • 發出：驗證結果

ExampleValidator 和 TensorFlow Data Validation

ExampleValidator 廣泛使用 TensorFlow Data Validation 來驗證您的輸入資料。

使用 ExampleValidator 元件

ExampleValidator 管道元件通常非常容易部署，且幾乎不需要自訂。典型的程式碼如下所示

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

更多詳細資訊請參閱 ExampleValidator API 參考文件。