Le fine-tuning consiste à prendre un modèle de base déjà entraîné (comme un LLM) et à le réentraîner sur un dataset plus petit et spécialisé. Cela permet d'adapter le modèle à un domaine spécifique sans repartir de zéro.
Par exemple, un LLM généraliste peut être fine-tuné sur des données médicales pour devenir un assistant médical spécialisé, ou sur du code pour améliorer ses capacités de programmation.
Les techniques modernes comme LoRA (Low-Rank Adaptation) et QLoRA permettent un fine-tuning efficace avec beaucoup moins de ressources que l'entraînement complet.