Bienvenue sur Xinference !#
Xorbits Inference (Xinference) est une plateforme open source conçue pour simplifier l’exécution et l’intégration de divers modèles d’IA. Avec Xinference, vous pouvez utiliser n’importe quel LLM open source, modèle d’embedding et modèle multimodal pour exécuter des inférences dans le cloud ou dans un environnement local, et créer des applications d’IA puissantes.
Développer des applications d’IA dans des scénarios réels avec Xinference#
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
# Chat to LLM
model.chat(
messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
generate_config={"max_tokens": 1024}
)
# Chat to VL model
model.chat(
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
},
},
],
}
],
generate_config={"max_tokens": 1024}
)
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.create_embedding("What is the capital of China?")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_image("An astronaut walking on the mars")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
with open("speech.mp3", "rb") as audio_file:
model.transcriptions(audio_file.read())
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
query = "A man is eating pasta."
corpus = [
"A man is eating food.",
"A man is eating a piece of bread.",
"The girl is carrying a baby.",
"A man is riding a horse.",
"A woman is playing violin."
]
print(model.rerank(corpus, query))
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_video("")
Guide de démarrage#
Installer Xinference sur Linux, Windows et macOS.
Commencez par exécuter Xinference sur l’ordinateur local.
Exploration des différents modèles pris en charge par Xinference.
Enregistrez les poids du modèle et convertissez-les en API.
Exploration de l’API#
Apprenez à discuter avec un LLM dans Xinference.
Apprenez à connecter un LLM à des outils externes.
Apprenez à créer des embeddings de texte dans Xinference.
Apprenez à utiliser un modèle de reclassement (re-ranking model) dans Xinference.
Apprenez à utiliser Xinference pour générer des images.
Apprenez à utiliser LLM pour traiter des images et de l’audio.
Apprenez à utiliser Xinference pour convertir de l’audio en texte ou du texte en audio.
Apprenez à utiliser Xinference pour générer des vidéos.
Apprenez à utiliser Xinference pour inférer des modèles d’apprentissage automatique traditionnels.
Participez avec nous.#
Dernières nouvelles
Suivez-nous sur Twitter
Demander de l’aide
Communauté Discord
Rejoignez le groupe Telegram.
Soumettre un issue sur Github
Contribution
Soumettez une PR sur Github