總覽

MinDiff 是一種模型補救技術,旨在平衡兩種分配。實際上,它可用於平衡資料不同切片之間的錯誤率,方法是懲罰分配差異。

通常,當您嘗試確保群組公平性時,例如盡量縮小敏感類別資料切片與效能較佳切片之間,在誤判率 (FPR) 或錯失率 (FNR) 方面的差異時,您可以套用 MinDiff。如需公平性指標的深入討論,請參閱關於此主題的文獻。123

MinDiff 如何運作?

給定來自我們資料集的兩組範例,MinDiff 會在模型訓練期間,因這兩組之間分數分配的差異而懲罰模型。根據預測分數,兩組的可區分性越低,則套用的懲罰越小。

懲罰是透過將一個組件新增至模型用於訓練的損失中來套用。它可以被認為是對模型預測分配差異的衡量。隨著模型的訓練,它會嘗試透過使分配更接近來盡量縮小懲罰,如下圖所示。

MinDiff comparison graph

套用 MinDiff 可能會帶來與原始任務效能相關的取捨。MinDiff 可能在不使效能超出產品需求的情況下有效,但產品負責人應審慎決定效能與 MinDiff 效力之間的平衡。如需顯示如何實作 MinDiff 的範例,請參閱模型補救個案研究筆記本

資源


  1. Dwork, C.、Hardt, M.、Pitassi, T.、Reingold, O.、Zemel, R. (2011)。透過感知實現公平性。 

  2. Hardt, M.、Price, E.、Srebro, N. (2016)。 監督式學習中的機會均等。 

  3. Chouldechova, A. (2016)。 具有不同影響的公平預測:累犯預測工具中偏差的研究。