Installation sur Ascend NPU

Xinference peut fonctionner sur le NPU Ascend. Installez-le à l’aide de la commande suivante.

Avertissement

La version open source dépend de Transformers pour l’inférence, ce qui peut entraîner des problèmes de lenteur d’exécution sur des puces telles que la 310p3. Nous proposons une version entreprise qui prend en charge le moteur MindIE, offrant de meilleures performances et une compatibilité accrue pour les NPU Ascend. Pour plus de détails, consultez Xinference Enterprise.

Installer PyTorch et l’extension Ascend

Installez la version CPU de PyTorch et l’extension Ascend correspondante.

Avec PyTorch v2.1.0 comme exemple.

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

Ensuite, installez l”extension PyTorch Ascend.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

Exécutez la commande suivante pour vérifier. Si elle s’exécute normalement, le nombre de NPU Ascend sera affiché.

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

Installer Xinference

pip3 install xinference

Vous pouvez maintenant vous référer à la documentation pour utiliser Xinference. Transformers est le seul moteur open source prenant en charge le NPU Ascend.

Support d’entreprise

Si vous rencontrez des problèmes de performance ou autres avec l’Ascend NPU, n’hésitez pas à consulter la version entreprise de Xinference et à nous contacter sur ici.