Modèle#

Liste des modèles#

Voici la liste des modèles d’un type spécifique pouvant être démarrés dans Xinference :

xinference registrations --model-type <MODEL_TYPE> \
                         [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

Xinference supporte les MODEL_TYPE suivants :

LLM

Modèle de génération de texte ou modèle de langage large

Grand modèle de langage
embedding

Modèle d’incorporation de texte

Modèle d’embedding
image

Modèle de génération ou de traitement d’images

Modèle d’image
audio

Modèle audio

modèle audio
rerank

Modèle de réordonnancement

Modèle de reclassement
video

Modèle vidéo

Modèle vidéo
Modèle flexible

Modèle flexible (modèle d’apprentissage automatique traditionnel)

Modèles d’apprentissage automatique traditionnels (à caractère expérimental)

Vous pouvez consulter tous les modèles intégrés pris en charge par Xinference ici. Si le modèle dont vous avez besoin n’est pas disponible, Xinference vous permet également d’enregistrer vos propres modèles personnalisés.

Démarrer et arrêter le modèle#

Chaque instance de modèle en cours d’exécution se verra attribuer un uid de modèle unique. Par défaut, l’uid du modèle est égal au nom du modèle. Cet ID est le descripteur permettant d’utiliser ultérieurement l’instance du modèle. L’option --model-uid de la commande de démarrage permet de le spécifier manuellement.

Vous pouvez lancer un modèle via la ligne de commande ou le client Python de Xinference.

xinference launch --model-name <MODEL_NAME> \
                  [--model-engine <MODEL_ENGINE>] \
                  [--model-type <MODEL_TYPE>] \
                  [--model-uid <MODEL_UID>] \
                  [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

Pour le type de modèle LLM, le lancement du modèle nécessite non seulement de spécifier le nom du modèle, mais aussi la taille des paramètres, le format du modèle et le moteur du modèle. Veuillez vous référer à la documentation Grand modèle de langage.

La commande suivante permet de lister les modèles en cours d’exécution dans Xinference :

xinference list [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

Lorsque vous n’avez plus besoin du modèle actuellement en cours d’exécution, libérez les ressources qu’il occupe de la manière suivante :

xinference terminate --model-uid "<MODEL_UID>" [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

Note

Pour les modèles qui ne sont plus maintenus et qui dépendent d’anciennes bibliothèques (comme transformers), il est recommandé d’activer la fonctionnalité d’espace virtuel de modèle afin de garantir leur fonctionnement normal dans un environnement compatible.

Modèle d’utilisation#

Chat & Générer

Apprenez à discuter avec un LLM dans Xinference.

Chat & Génération
Outil

Apprenez à connecter un LLM à des outils externes.

outil
intégration

Apprenez à créer des embeddings de texte dans Xinference.

intégré
Réordonnancement

Apprenez à utiliser le modèle de reclassement dans Xinference.

Réordonnancement
image

Apprenez à utiliser Xinference pour générer des images.

Image
multimodal

Apprenez à utiliser LLM pour traiter les images et l’audio.

multimodal
audio

Apprenez à utiliser Xinference pour convertir l’audio en texte ou le texte en audio.

audio
Vidéo

Apprenez à utiliser Xinference pour générer des vidéos.

Vidéo (expérimental)
Modèle flexible

Apprenez à utiliser Xinference pour inférer des modèles d’apprentissage automatique traditionnels.

Modèles d’apprentissage automatique traditionnels (à caractère expérimental)