公平性指標

「公平性指標」程式庫可輕鬆計算二元和多類別分類器的常見公平性指標。透過「公平性指標」工具套件,您可以

  • 計算分類模型的常見公平性指標
  • 將各子群組的模型效能與基準或其他模型進行比較
  • 使用信賴區間突顯具有統計顯著性的差異
  • 針對多個門檻執行評估

透過下列項目使用「公平性指標」:

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

資源