MinDiff 是一種模型補救技術,旨在平衡兩種分配。實際上,它可用於平衡資料不同切片之間的錯誤率,方法是懲罰分配差異。
通常,當您嘗試確保群組公平性時,例如盡量縮小敏感類別資料切片與效能較佳切片之間,在誤判率 (FPR) 或錯失率 (FNR) 方面的差異時,您可以套用 MinDiff。如需公平性指標的深入討論,請參閱關於此主題的文獻。123
MinDiff 如何運作?
給定來自我們資料集的兩組範例,MinDiff 會在模型訓練期間,因這兩組之間分數分配的差異而懲罰模型。根據預測分數,兩組的可區分性越低,則套用的懲罰越小。
懲罰是透過將一個組件新增至模型用於訓練的損失中來套用。它可以被認為是對模型預測分配差異的衡量。隨著模型的訓練,它會嘗試透過使分配更接近來盡量縮小懲罰,如下圖所示。
套用 MinDiff 可能會帶來與原始任務效能相關的取捨。MinDiff 可能在不使效能超出產品需求的情況下有效,但產品負責人應審慎決定效能與 MinDiff 效力之間的平衡。如需顯示如何實作 MinDiff 的範例,請參閱模型補救個案研究筆記本。
資源
如需在文字分類模型上套用 MinDiff 的教學課程,請參閱MinDiff Keras 筆記本。
如需關於 TensorFlow 網誌上 MinDiff 的網誌文章,請參閱套用 MinDiff 以改進模型網誌文章。
如需完整的模型補救程式庫,請參閱model-remediation Github 儲存庫。
-
Dwork, C.、Hardt, M.、Pitassi, T.、Reingold, O.、Zemel, R. (2011)。透過感知實現公平性。 ↩
-
Hardt, M.、Price, E.、Srebro, N. (2016)。 監督式學習中的機會均等。 ↩
-
Chouldechova, A. (2016)。 具有不同影響的公平預測:累犯預測工具中偏差的研究。 ↩