Attention

Le mécanisme par lequel le modèle pondère les tokens qui comptent pour produire le suivant. Une ressource limitée, qui se dilue à mesure que la fenêtre se remplit. Plus de contexte, ce n’est pas toujours mieux : l’attention s’étale, et chaque token en reçoit moins.