intégré#

Apprenez à créer des embeddings de texte dans Xinference.

Introduction#

Les plongements de texte sont utilisés pour quantifier la similarité entre différents textes. Ils peuvent être appliqués à diverses applications, notamment la recherche, le clustering, la recommandation, la détection d’anomalies, les mesures de diversité et la classification.

Un embedding est un vecteur de nombres flottants. La proximité entre deux vecteurs peut servir d’indicateur de leur similarité. Une distance plus faible indique une corrélation plus élevée, tandis qu’une distance plus grande signifie une corrélation réduite.

Les modèles d’embedding dans Xinference peuvent être appelés via l’Embeddings API pour créer des embeddings. L’Embeddings API imite l”API de création d’embeddings d’OpenAI.

Point de terminaison API	Endpoint compatible avec OpenAI
Embeddings API	/v1/embeddings

Liste des modèles pris en charge#

Vous pouvez consulter tous les modèles d’intégration intégrés de Xinference.

Démarrage rapide#

Nous pouvons essayer l’API Embeddings via cURL, le client OpenAI ou le client Python de Xinference.

curl -X 'POST' \
  'http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "<MODEL_UID>",
    "input": "What is the capital of China?"
  }'

import openai

client = openai.Client(
  api_key="cannot be empty",
  base_url="http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1"
)
client.embeddings.create(
  model=model_uid,
  input=["What is the capital of China?"]
)

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")

model = client.get_model("<MODEL_UID>")
input = "What is the capital of China?"
model.create_embedding(input)

{
  "object": "list",
  "model": "<MODEL_UID>",
  "data": [{
    "index": 0,
    "object": "embedding",
    "embedding": [
      -0.014207549393177032,
      -0.01832585781812668,
      ...
      -0.03009396605193615,
      0.05420297756791115]
  }],
  "usage": {
    "prompt_tokens": 37,
    "total_tokens": 37
  }
}

Vous pouvez trouver plus d’exemples sur la capacité embed dans le cahier de tutoriel.

Documentation de dialogue LangChain Streamlit

Apprenez à utiliser l’API d’embedding via LangChain à partir d’un exemple.

https://github.com/xorbitsai/inference/blob/main/examples/LangChain_Streamlit_Doc_Chat.py

FAQ#

LLM prend-il en charge l’API Embeddings dans Xinference ?#

No. Xinference doesn’t provide embed API for LLMs due to considerations of performance.

L’API Embeddings fournit-elle une méthode d’intégration avec LangChain ?#

Oui, vous pouvez consulter la documentation officielle de Xinference pour la partie concernant LangChain. Voici le lien : Text Embedding Models: Xinference

Does Embeddings API support hrbrid model?#

Yes, you can use flag as the engine to deploy the model and call Embeddings API by setting the extra parameter return_parse=True which will return sparse vectors.