Post-entraînement

Les étapes d’entraînement qui viennent après le modèle de base. Le modèle de base sait continuer du texte ; il ne sait ni obéir, ni s’arrêter, ni se servir d’un outil.

Trois familles, en gros : le fine-tuning sur instructions (suivre une consigne), l’alignement (refuser, nuancer, rester utile), et le post-entraînement agentique (appeler des outils, enchaîner des étapes, réagir à un résultat d’exécution).

C’est le dernier qui explique pourquoi deux modèles de taille comparable ne se valent pas du tout en agent. Ce qui les sépare, c’est l’entraînement à agir.

Le deuxième laisse une trace qu’on prend souvent pour un défaut : l’alignement se fait sur des préférences humaines, et une réponse qui vous donne raison est préférée. La sycophantie n’est pas une bavure de ce réglage, elle en est le produit.

À éviter

Comparer deux modèles sur leur taille ou sur un score de connaissances quand vous cherchez un bon agent. Ce que vous voulez mesurer, c’est la tenue sur une tâche longue avec des outils, et ça ne se lit pas dans le nombre de paramètres.