Exemple : Chatbot PDF 📚

Description :

Cet exemple montre comment construire un chatbot PDF en utilisant un LLM local et un modèle d’embedding.

Technologies concernées :

@ Xinference en tant que service d’hébergement de modèles LLM

@ LlamaIndex est utilisé pour orchestrer l’ensemble du pipeline RAG.

@ Streamlit pour l’interface utilisateur interactive

Description détaillée des fonctions de démonstration :

• J’ai créé un Dockerfile qui simplifie le processus de déploiement via Docker et garantit une reproductibilité facile.

• Utilisez Xinference pour lancer les modèles LLM et d’embedding, et exposez deux ports pour y accéder.

• Implémentez un téléchargement de fichiers fluide et une communication interactive avec le moteur de chat en utilisant Streamlit.

• La vitesse d’embedding des documents est 5 fois plus rapide que celle de l’API d’OpenAI.

• Utilisez la puissance de GGML pour exécuter le modèle sur GPU, garantissant une accélération et réduisant le temps d’attente pour les retours.

Code source :

• PDF Chatbot