Définition
Un token est l'unité de texte que traite un modèle de langage : un mot entier, une partie de mot, un signe de ponctuation ou un caractère, selon la langue.
Token : comment ça fonctionne ?
Les modèles de langage découpent le texte en tokens avant de le traiter. En français ou en anglais, un token correspond en moyenne à une portion de mot ; en arabe et en darija, le découpage produit souvent davantage de tokens pour un même contenu. Les fournisseurs de modèles facturent l'usage au nombre de tokens en entrée et en sortie, et chaque modèle a une limite de tokens par requête, appelée fenêtre de contexte.
Token : un exemple concret
Une conversation WhatsApp de dix messages, plus les instructions de l'agent et les données du catalogue, représente quelques milliers de tokens à chaque réponse.
Token : pourquoi est-ce important pour une entreprise ?
Le nombre de tokens détermine le coût d'exploitation d'un agent IA ; une conception économe (contexte limité, modèle adapté à chaque tâche) réduit la facture.