TensorFlow 文字處理教學課程提供逐步指示,以解決常見的文字和自然語言處理 (NLP) 問題。
TensorFlow 提供兩種文字和自然語言處理解決方案:KerasNLP 和 TensorFlow Text。KerasNLP 是高階 NLP 程式庫,包含所有最新的 Transformer 架構模型,以及較低階的符號化公用程式。這是大多數 NLP 使用案例的建議解決方案。
如果您需要存取較低階的文字處理工具,可以使用 TensorFlow Text。TensorFlow Text 提供一系列運算和程式庫,協助您處理文字形式的輸入,例如原始文字字串或文件。
KerasNLP
- KerasNLP 入門:透過逐步提高複雜度的情感分析來學習 KerasNLP,從使用預先訓練的模型到從頭開始建構自己的 Transformer。
文字產生
- 使用 RNN 產生文字:使用以字元為基礎的 RNN 和莎士比亞著作的資料集來產生文字。
- 具備注意力機制的類神經機器翻譯:訓練用於西班牙文到英文翻譯的序列到序列 (seq2seq) 模型。
- 使用 Transformer 和 Keras 的類神經機器翻譯:建立並訓練序列到序列 Transformer 模型,以將葡萄牙文翻譯成英文。
- 具備視覺注意力的圖片標題:使用以注意力層建構的 Transformer 解碼器模型來產生圖片標題。
文字分類
- 使用 BERT 分類文字:微調 BERT,以對純文字 IMDb 電影評論資料集執行情感分析。
- 使用 RNN 進行文字分類:訓練 RNN,以對 IMDb 電影評論執行情感分析。
- TF.Text 指標:瞭解透過 TensorFlow Text 提供的指標。此程式庫包含文字相似度指標 (例如 ROUGE-L) 的實作,可用於自動評估文字產生模型。
NLP 與 BERT
- 在 TPU 上使用 BERT 解決 GLUE 任務:瞭解如何針對 GLUE 基準中的任務微調 BERT。
- 微調 BERT 模型:使用 TensorFlow Model Garden 微調 BERT 模型。
- 使用 BERT-SNGP 進行具備不確定性意識的深度語言學習:將 SNGP 應用於自然語言理解 (NLU) 任務。以 BERT 編碼器為基礎,您將提升 NLU 模型偵測範圍外查詢的能力。
嵌入
- 詞嵌入:針對情感分類任務,使用簡單的 Keras 模型訓練您自己的詞嵌入,然後使用 Embedding Projector 將其視覺化。
- Warm-start 嵌入層矩陣:瞭解如何為文字情感分類模型「Warm-start」訓練。
- word2vec:在小型資料集上訓練 word2vec 模型,並在 Embedding Projector 中將訓練好的嵌入視覺化。