TensorFlow 模型最佳化工具組可最大程度地降低最佳化機器學習推論的複雜性。
在部署機器學習模型時，推論效率是至關重要的考量因素，原因在於延遲時間、記憶體使用率，以及許多情況下的耗電量。尤其是在行動裝置和物聯網 (IoT) 等邊緣裝置上，資源更受限，而模型大小和運算效率成為主要考量因素。
訓練的運算需求隨著不同架構上訓練的模型數量而增加，而推論的運算需求則與使用者人數成正比增加。
使用情境
模型最佳化除其他用途外，還適用於：
- 降低雲端和邊緣裝置 (例如行動裝置、IoT) 推論的延遲時間和成本。
- 在處理、記憶體和/或耗電量受限的邊緣裝置上部署模型。
- 縮減無線模型更新的酬載大小。
- 在僅限或最佳化用於定點運算的硬體上啟用執行。
- 針對特殊用途硬體加速器最佳化模型。
最佳化技術
模型最佳化領域可能涉及各種技術
- 透過剪枝和結構化剪枝減少參數計數。
- 透過量化降低表示精確度。
- 使用減少的參數或更快的執行速度，將原始模型拓撲更新為更有效率的模型拓撲。例如，張量分解方法和蒸餾
我們的工具組支援訓練後量化、量化感知訓練、剪枝和叢集。此工具組也為結合各種技術的協作最佳化提供實驗性支援。
量化
量化模型是指我們以較低精確度 (例如 8 位元整數而非 32 位元浮點數) 表示模型的模型。較低的精確度是利用特定硬體的需求。
稀疏性和剪枝
稀疏模型是指運算元 (即神經網路層) 之間的連線已剪枝的模型，在參數張量中引入零值。
叢集
叢集模型是指原始模型的參數已替換為較少數量的唯一值的模型。
協作最佳化
此工具組為協作最佳化提供實驗性支援。這可讓您受益於結合多種模型壓縮技術，並同時透過量化感知訓練達成更高的準確度。