Token

Le modèle ne lit pas du texte : il lit des tokens. Un token, c’est un mot ou un fragment de mot présent dans son vocabulaire. À l’entrée, un tokenizer découpe votre texte en tokens. Le modèle, lui, prédit le token suivant, puis le suivant.

Le découpage ne suit pas les mots, et il ne suit pas non plus les langues à égalité. L’anglais est le moins cher : les vocabulaires sont appris sur un corpus qui en est dominé, et beaucoup de mots anglais courants y tiennent en un seul token. Le français, lui, se paie morceau par morceau.

L’écart se mesure plutôt qu’il ne se cite. Sur une phrase et sa traduction fidèle — même propos, presque autant de signes — découpées par le tokeniseur de Qwen2.5-Coder-1.5B : 44 tokens en français contre 30 en anglais, soit 47 % de plus. C’est un ratio de phrase, pas une moyenne de corpus : la découpe est visible, avec sa provenance, dans « Tokens, fenêtres et attention ». Cet écart se paie deux fois : sur la facture, et sur la place occupée dans la fenêtre.

Tout se compte dans cette unité. La vitesse d’un modèle se mesure en tokens par seconde, une fenêtre de contexte est un nombre de tokens, et la facturation compte l’entrée comme la sortie. Tant que vous raisonnez en mots, vous raisonnez dans la mauvaise unité.

À éviter

Compter en mots ou en caractères. Et surtout, reprendre tel quel un ordre de grandeur trouvé sur un blog anglophone : vos 100 mots de français ne pèsent pas comme 100 mots d’anglais. C’est ce qui décide de ce qui tient dans une fenêtre, et de ce que coûte une session.