我應該在何時使用 MinDiff？
在下列情況中套用 MinDiff：您的模型整體效能良好，但在屬於敏感群體的範例中，產生有害錯誤的頻率較高，且您希望縮小效能差距。感興趣的敏感群體可能因您的使用情境而異，但通常包括受保護的類別，例如種族、宗教、性別、性取向等等。在本文檔中，我們將使用「敏感群體」來指稱屬於受保護類別的任何範例集。
使用 MinDiff 解決效能不佳的資料切片有兩個主要條件
- 您已調整並評估您的模型，找出顯示效能不佳資料切片的指標。這必須在套用模型修復之前完成。
- 您擁有或可以取得足夠數量的相關標籤範例，這些範例屬於效能不佳的群體 (更多詳細資訊如下)。
MinDiff 是眾多用於修復不平等行為的技術之一。特別是，當您嘗試直接平衡群體之間的效能時，這可能是一個不錯的選擇。MinDiff 可以與其他方法 (例如資料擴增等) 結合使用，這可能會帶來更好的結果。但是，如果您需要確定優先投資哪種技術，則應根據您的產品需求來決定。
當套用 MinDiff 時，您可能會看到效能最佳群體的效能降低或略有轉變，因為效能不佳的群體有所改善。這種權衡是預期的，應在您的產品需求的背景下評估。實際上，我們經常看到 MinDiff 不會導致效能最佳的資料切片降至可接受的水準以下，但這取決於應用程式，並且需要由產品負責人做出決定。
我可以在哪些模型類型上套用 MinDiff？
MinDiff 已被證明在套用於二元分類器時始終有效。將此方法應用於其他應用程式是可行的，但尚未經過充分測試。已完成一些工作，以顯示在多類別分類和排名任務中的成功率1，但在這些或其他類型的模型上使用 MinDiff 都應視為實驗性質。
我可以在哪些指標上套用 MinDiff？
當您嘗試在群體之間平衡的指標是偽陽率 (FPR) 或偽陰率 (FNR) 時，MinDiff 可能是一個不錯的解決方案，但它也可能適用於其他指標。一般而言，當您鎖定的指標是屬於敏感群體的範例與不屬於敏感群體的範例之間分數分佈差異的結果時，MinDiff 可能會有效。
建立您的 MinDiff 資料集
準備使用 MinDiff 進行訓練時，您需要準備三個不同的資料集。與常規訓練一樣，您的 MinDiff 資料集應代表您的模型服務的使用者。MinDiff 可能在沒有這種情況下也能運作，但在這種情況下您應格外小心。
假設您嘗試改善模型針對屬於敏感類別之範例的 FPR，您將需要
- 原始訓練集 - 用於訓練基準模型的原始資料集
- MinDiff 敏感集 - 屬於敏感類別且僅具有負面基本真值標籤的範例資料集。這些範例將僅用於計算 MinDiff 損失。
- MinDiff 非敏感集 - 不屬於敏感類別且僅具有負面基本真值標籤的範例資料集。這些範例將僅用於計算 MinDiff 損失。
當您使用程式庫時，您會將這三個資料集全部合併為一個資料集，該資料集將作為您的新訓練集。
為 MinDiff 挑選範例
如果您主要關注偽陽率的差異，則在上面的範例中劃分出負面標籤範例集似乎有悖常理。但是，請記住，偽陽性預測來自於被錯誤分類為陽性的負面標籤範例。
在為 MinDiff 收集資料時，您應挑選效能差異明顯的範例。在我們上面的範例中，這表示選擇負面標籤範例來解決 FPR。如果我們有興趣鎖定 FNR，則需要選擇正面標籤範例。
我需要多少資料？
好問題 - 這取決於您的使用情境！根據您的模型架構、資料分佈和 MinDiff 配置，所需的資料量可能會差異很大。在過去的應用中，我們看到 MinDiff 在每個 MinDiff 訓練集中 (前一節中的集合 2 和 3) 使用 5,000 個範例時效果良好。資料較少時，效能降低的風險會增加，但這可能在您的生產限制範圍內是最小的或可接受的。套用 MinDiff 後，您將需要徹底評估您的結果，以確保效能可接受。如果結果不可靠或未達到效能預期，您可能仍然需要考慮收集更多資料。
MinDiff 在何時不適合我？
MinDiff 是一種強大的技術，可以提供令人印象深刻的結果，但這並不表示它是適用於所有情況的正確方法。隨意套用它並不能保證您會獲得足夠的解決方案。
除了上面討論的需求之外，在某些情況下，MinDiff 在技術上可能是可行的，但不適合。您應始終根據已知的建議做法設計您的 ML 工作流程。例如，如果您的模型任務定義不明確、產品需求不明確，或您的範例標籤過於偏斜，您應優先解決這些問題。同樣地，如果您沒有明確定義敏感群體，或無法可靠地判斷範例是否屬於敏感群體，您將無法有效地套用 MinDiff。
在更高的層次上，您應始終考慮您的產品是否適合使用 ML。如果是，請考慮它可能造成的用戶傷害潛在途徑。追求負責任的 ML 是一項多面向的努力，旨在預測廣泛的潛在危害；MinDiff 可以協助減輕其中一些危害，但所有結果都值得仔細考慮。
1Beutel A.、Chen, J.、Doshi, T.、Qian, H.、Wei, L.、Wu, Y.、Heldt, L.、Zhao, Z.、Hong, L.、Chi, E.、Goodrow, C. (2019)。透過成對比較實現推薦排名的公平性。