TensorFlow 文字簡介

TensorFlow Text 提供一系列與文字相關的類別和運算，可與 TensorFlow 2.0 搭配使用。此程式庫可以執行以文字為基礎的模型經常需要的預先處理作業，並包含核心 TensorFlow 未提供的其他適用於序列模型的實用功能。

在文字預先處理中使用這些運算的優點是，它們是在 TensorFlow 圖形中完成的。您不必擔心訓練中的詞元化與推論時的詞元化不同，也不必管理預先處理指令碼。

安裝 TensorFlow Text

使用 pip 安裝

使用 pip install 安裝 TF Text 時，請注意您執行的 TensorFlow 版本，因為您應指定對應版本的 TF Text。

pip install -U tensorflow-text==<version>

從來源建構

TensorFlow Text 必須在與 TensorFlow 相同的環境中建構。因此，如果您手動建構 TF Text，強烈建議您也建構 TensorFlow。

如果在 MacOS 上建構，您必須安裝 coreutils。使用 Homebrew 可能是最簡單的方法。首先，從來源建構 TensorFlow。

複製 TF Text repo。

git clone  https://github.com/tensorflow/text.git

最後，執行建構指令碼以建立 pip 套件。

./oss_scripts/run_build.sh