更新日期：2021 年 6 月

TensorFlow 的模型最佳化工具組 (MOT) 已廣泛用於將 TensorFlow 模型轉換/最佳化為 TensorFlow Lite 模型，以縮減模型大小、提升效能並維持可接受的準確度，以便在行動裝置和 IoT 裝置上執行。我們目前正努力將 MOT 技術和工具擴展到 TensorFlow Lite 以外的範圍，以支援 TensorFlow SavedModel。

以下概述我們的藍圖。您應該注意，此藍圖隨時可能變更，且以下順序不代表任何優先順序。我們強烈建議您在討論群組中評論我們的藍圖，並向我們提供意見回饋。

量化

TensorFlow Lite

• 選擇性訓練後量化，可將特定層排除在量化之外。
• 量化偵錯工具，可檢查每層的量化誤差損失。
• 在更多模型涵蓋範圍 (例如 TensorFlow Model Garden) 上套用量化感知訓練。
• 訓練後動態範圍量化的品質和效能改進。

TensorFlow

• 訓練後量化 (bf16 * int8 動態範圍)。
• 量化感知訓練 ((bf16 * int8 僅權重且帶有虛假量化)。
• 選擇性訓練後量化，可將特定層排除在量化之外。
• 量化偵錯工具，可檢查每層的量化誤差損失。

稀疏性

TensorFlow Lite

• 更多模型的稀疏模型執行支援。
• 稀疏性的目標感知編寫。
• 使用高效能 x86 核心擴充稀疏運算元集。

TensorFlow

• TensorFlow 中的稀疏性支援。

串聯壓縮技術

• 量化 + 張量壓縮 + 稀疏性：示範所有 3 種技術協同運作。

壓縮

• 張量壓縮 API，協助壓縮演算法開發人員實作自己的模型壓縮演算法 (例如權重分群)，包括提供測試/基準評估的標準方式。