Exemple : Interface de chat Gradio 🤗#
Description :
Cet exemple montre comment construire un chatbot avec seulement 120 lignes de code en utilisant l’interface de chat Gradio ChatInterface et le LLM local Xinference.
Technologies concernées :
@ Xinference en tant que service d’hébergement de modèles LLM
@ Gradio comme interface Web pour le chatbot
Explication détaillée de la fonction de démonstration :
Analysez les paramètres de ligne de commande fournis par l’utilisateur pour capturer les paramètres clés du modèle, tels que le nom du modèle, la taille, le format et la méthode de quantification.
Établir la connexion avec le framework Xinference et déployer le modèle spécifié, en s’assurant qu’il est prêt pour une interaction en temps réel.
Implémentez les fonctions auxiliaires (flatten et to_chat) pour traiter et stocker efficacement les interactions de chat, garantissant que le modèle dispose du contexte nécessaire pour générer des réponses pertinentes.
Configurez une interface de chat interactive avec Gradio, permettant aux utilisateurs de communiquer avec le modèle dans un environnement convivial.
Lancez l’interface Web Gradio pour permettre aux utilisateurs de démarrer leurs sessions de chat et de recevoir les réponses générées par le modèle en fonction de leurs requêtes.
- Code source :