文字嵌入器可將文字嵌入高維度特徵向量，以表示其語意，然後可以將其與其他文字的特徵向量進行比較，以評估其語意相似度。
與 文字搜尋 相反，文字嵌入器可讓您即時計算文字之間的相似度，而無需搜尋從語料庫建立的預先定義索引。
使用 Task Library TextEmbedder API，將您的自訂文字嵌入器部署到您的行動應用程式中。
TextEmbedder API 的主要功能
輸入文字處理，包括圖形內或圖形外 Wordpiece 或 Sentencepiece 輸入文字的語彙符號化。
內建公用程式函式，可計算特徵向量之間的 餘弦相似度。
支援的文字嵌入器模型
以下模型保證與 TextEmbedder API 相容。
在 C++ 中執行推論
// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();
// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);
// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector()
result_2.embeddings[0].feature_vector());
如需設定 TextEmbedder 的更多選項，請參閱原始碼。
在 Python 中執行推論
步驟 1：安裝 TensorFlow Lite Support Pypi 套件。
您可以使用下列命令安裝 TensorFlow Lite Support Pypi 套件
pip install tflite-support
步驟 2：使用模型
from tflite_support.task import text
# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)
# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
如需設定 TextEmbedder 的更多選項，請參閱原始碼。
範例結果
正規化特徵向量之間的餘弦相似度會傳回介於 -1 和 1 之間的分數。分數越高越好，也就是說，餘弦相似度為 1 表示兩個向量完全相同。
Cosine similarity: 0.954312
使用您自己的模型和測試資料，試用簡單的 TextEmbedder CLI 示範工具。
模型相容性需求
TextEmbedder API 預期 TFLite 模型具有強制性的 TFLite 模型中繼資料。
支援三種主要模型類型
以 BERT 為基礎的模型 (如需更多詳細資訊，請參閱 原始碼)
正好 3 個輸入張量 (kTfLiteString)
- IDs 張量，中繼資料名稱為「ids」，
- Mask 張量，中繼資料名稱為「mask」。
- Segment IDs 張量，中繼資料名稱為「segment_ids」
正好一個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)
- 具有
N個元件，對應於此輸出層傳回的特徵向量的N個維度。 - 2 或 4 個維度，即
[1 x N]或[1 x 1 x 1 x N]。
- 具有
Wordpiece/Sentencepiece Tokenizer 的 input_process_units
以通用句子編碼器為基礎的模型 (如需更多詳細資訊，請參閱 原始碼)
正好 3 個輸入張量 (kTfLiteString)
- Query text 張量，中繼資料名稱為「inp_text」。
- Response context 張量，中繼資料名稱為「res_context」。
- Response text 張量，中繼資料名稱為「res_text」。
正好 2 個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)
- Query encoding 張量，中繼資料名稱為「query_encoding」。
- Response encoding 張量，中繼資料名稱為「response_encoding」。
- 兩者都具有
N個元件，對應於此輸出層傳回的特徵向量的N個維度。 - 兩者都具有 2 或 4 個維度，即
[1 x N]或[1 x 1 x 1 x N]。
任何文字嵌入器模型，具有
- 一個輸入文字張量 (kTfLiteString)
至少一個輸出嵌入張量 (kTfLiteUInt8/kTfLiteFloat32)
- 具有
N個元件，對應於此輸出層傳回的特徵向量的N個維度。 - 2 或 4 個維度，即
[1 x N]或[1 x 1 x 1 x N]。
- 具有