Installer Xinference dans un cluster Kubernetes.#

Basé sur la méthode native Helm.#

Xinference propose une méthode d’installation basée sur Helm natif dans un cluster Kubernetes.

Conditions préalables#

  • Un cluster Kubernetes fonctionnel.

  • Activez le support GPU dans Kubernetes, référez-vous à ce lien.

  • Installez correctement Helm.

Étapes spécifiques#

  1. Ajouter le dépôt Helm Xinference

    helm repo add xinference https://xorbitsai.github.io/xinference-helm-charts

  2. Mettre à jour l’index du dépôt, rechercher les versions installables.

    helm repo update xinference
helm search repo xinference/xinference --devel --versions

  3. Installer

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version>

Installation personnalisée#

La méthode d’installation ci-dessus installe un Xinference similaire à une machine autonome, c’est-à-dire avec un seul nœud, tout en conservant les paramètres de démarrage par défaut.

Voici quelques configurations d’installation personnalisées courantes.

  1. J’ai besoin de télécharger un modèle depuis ModelScope.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.model_src="modelscope"

  2. Je souhaite utiliser l’image Xinference pour CPU (ou une autre version de l’image).

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.xinference_image="<xinference_docker_image>"

  3. Je dois lancer 4 nœuds worker Xinference, chaque worker gérant 4 GPU.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.worker_num=4 --set config.gpu_per_worker="4"

La méthode d’installation ci-dessus repose sur l’option Helm --set. Pour des scénarios d’installation personnalisée plus complexes, tels que le partage de stockage entre plusieurs workers, il est fortement recommandé d’utiliser votre propre fichier values.yaml, puis de procéder à l’installation via l’option Helm -f.

The default values.yaml file is located here. Some examples can be found here.

Basé sur l’approche KubeBlocks tierce#

Vous pouvez également installer Xinference dans un cluster K8s via le KubeBlocks tiers. Cette méthode n’est pas maintenue officiellement par Xinference, par conséquent, les mises à jour en temps réel et la disponibilité ne peuvent pas être strictement garanties. Veuillez vous référer à la documentation.