Exemple

Ici, vous pouvez trouver des exemples et des ressources d’apprentissage sur la façon d’utiliser Xinference.

Exemple

Utilisation de l’application de bout en bout de Xinference :

• Podcast de conversations vocales avec des agents IA sur M2 Max

• Interaction avec le modèle LLM : exemple en ligne de commande

• Interagir avec un modèle LLM : exemple de page de chat Gradio

• Chatbot PDF utilisant un LLM local et un modèle d’embedding

• Utiliser LangChain et Streamlit pour un dialogue local avec des documents

Si vous rencontrez d’autres exemples dans votre propre flux de travail, nous vous encourageons à soumettre une PR !

Tutoriel

Le tutoriel suivant couvre les bases de l’utilisation de Xinference dans différents scénarios :

• [Notebook] Application de Questions-Réponses (QA) avec Xinference, Milvus et LangChain

• Utilisation des LLM locaux Xinference avec LlamaIndex

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

Intégration de bibliothèques tierces

Xinference peut intégrer et déployer de manière transparente des modèles d’IA open source, prenant ainsi en charge les principaux outils du domaine de l’IA. Xinference peut être utilisé avec les bibliothèques tierces suivantes :

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM