L'inférence est l'exécution d'un modèle déjà entraîné sur de nouvelles données. Pour les LLM, son coût (calcul, énergie, latence) est devenu un enjeu industriel majeur, ce qui explique la course aux puces spécialisées et à l'optimisation.
Inférence (IA)
Phase d'utilisation d'un modèle entraîné pour produire une prédiction ou une réponse, par opposition à l'entraînement.
Termes associés
Fine-tuningProcessus de réentraînement d'un modèle pré-entraîné sur un jeu de données spécifique pour l'adapter à une tâche ou un domaine particulier.GPU (Processeur graphique)Processeur spécialisé dans le calcul parallèle massif, essentiel pour le gaming, le rendu 3D et l'entraînement de modèles d'IA.LLM (Large Language Model)Modèle de langage de grande taille entraîné sur d'immenses corpus de texte, capable de comprendre et générer du langage naturel.Token (IA)Unité de base traitée par un modèle de langage. Un token peut représenter un mot, une partie de mot ou un caractère de ponctuation.