Exemple : Robot de chat en ligne de commande 🤖️#

Description :

Démontrer comment interagir avec Xinference, en utilisant la fonction de chat basée sur LLM en ligne de commande pour interagir avec un agent IA. 💻

Technologies concernées :

@ ggerganov ggml

@ Xinference en tant que plateforme

Tous les modèles LLaMA et Chatglm supportés par Xinference Inference.

Explication détaillée des fonctionnalités de démonstration :

  1. Accepter la saisie de l’utilisateur dans le terminal et obtenir les paramètres nécessaires au lancement du modèle.

  2. Démarrez le framework Xinference et déployez automatiquement le modèle demandé par l’utilisateur dans le cluster.

  3. Initialiser un historique de chat vide pour stocker tout le contexte de la salle de discussion.

  4. Demander récursivement l’entrée de l’utilisateur comme instruction, pour que le modèle génère une réponse basée sur l’instruction et l’historique de la conversation. Afficher la sortie de la réponse dans le terminal.

  5. Stockez les entrées de l’utilisateur et les réponses de l’agent dans l’historique des discussions, afin de servir de contexte pour les prochains tours de dialogue.

Code source