Aller au contenu
IA & automatisation

Token (IA) : définition

Aussi appelé : jeton, token de langage, unité de texte IA, tokenisation.

Mis à jour le

Rédigé par

Schéma des tokens : la phrase « Bonjour, je voudrais un devis » est découpée en petits morceaux de texte, les tokens, que le modèle d'IA traite un à un.
Token : les morceaux de texte traités par un modèle d'IA

Définition

Un token est l'unité de texte traitée par un modèle de langage (mot, morceau de mot ou signe). Il mesure la capacité et le coût d'usage d'une IA.

Avant de traiter un texte, un LLM le découpe en tokens (on parle de tokenisation). « Bonjour » peut former un seul token, alors qu'un mot rare ou long comme « anticonstitutionnellement » sera découpé en plusieurs morceaux. Les espaces et la ponctuation comptent aussi.

En détail

Les tokens interviennent à trois niveaux :

  • la capacité : chaque modèle a une fenêtre de contexte, un nombre maximal de tokens traités en une fois. Elle contient le prompt système, les documents fournis, l'historique et la réponse. Les modèles récents acceptent de très longs contextes, mais un contexte long coûte plus cher et peut diluer l'information importante ;
  • le coût : les API de modèles de langage facturent au volume, en distinguant les tokens d'entrée (ce que vous envoyez) et les tokens de sortie (ce que le modèle génère), plus chers. Les prix sont exprimés par million de tokens et varient fortement d'un modèle à l'autre ;
  • la vitesse : plus la réponse compte de tokens, plus elle met de temps à être générée.

Quelques techniques réduisent la consommation :

  • la mise en cache des parties répétées du prompt, proposée par plusieurs fournisseurs à tarif réduit ;
  • le RAG, qui n'envoie que les extraits utiles au lieu de documents entiers ;
  • le résumé des longues conversations ;
  • des consignes de concision et une limite de longueur de réponse ;
  • le choix d'un modèle adapté : un modèle léger pour trier ou classer, un modèle puissant pour les tâches complexes.

Exemple (cas type)

Prenons l'exemple d'une agence immobilière qui prévoit un chatbot sur son site. Pour estimer le budget, elle calculerait la taille moyenne d'une conversation : prompt système, quelques extraits de fiches de biens remontés par recherche, cinq ou six échanges avec le visiteur.

En multipliant par le nombre de conversations attendues et par le tarif du modèle, elle obtiendrait une fourchette mensuelle. Elle pourrait activer la mise en cache du prompt système, limiter l'historique transmis et fixer un plafond de dépenses quotidien. Un suivi mensuel comparerait ensuite l'estimation à la consommation réelle.

Points d'attention

Le coût d'une IA se maîtrise en mesurant la consommation réelle, en plafonnant les dépenses et en n'envoyant au modèle que les informations utiles.

  • Mesurer avant d'extrapoler : faites un test sur de vraies conversations pour estimer la consommation.
  • Plafonner : fixez des limites par conversation, par jour et par mois pour éviter les mauvaises surprises, y compris en cas d'abus.
  • Surveiller les prix : les tarifs et les modèles évoluent souvent ; réévaluez votre choix régulièrement.
  • Ne pas tout mettre dans le contexte : envoyer des documents entiers coûte cher et n'améliore pas toujours la réponse.
  • Prévoir l'échec : quand la fenêtre de contexte est pleine ou le budget atteint, l'assistant doit basculer vers une solution de repli.

Pour aller plus loin

Pour un ordre de grandeur des coûts d'usage, lisez notre article sur le prix d'un agent IA sur mesure. Dopinet dimensionne et plafonne la consommation de ses solutions d'automatisation par l'IA et de ses agents IA d'entreprise.

Token (IA) : vos questions.

Combien de mots représente un token ?

Cela dépend du modèle et de la langue. Un mot courant représente souvent un ou deux tokens, et le français consomme en général un peu plus de tokens que l'anglais pour un même texte. Les éditeurs fournissent des outils pour compter précisément.

Qu'est-ce que la fenêtre de contexte ?

C'est le nombre maximal de tokens qu'un modèle peut prendre en compte en une fois : consignes, documents fournis, historique de la conversation et réponse. Au-delà, il faut résumer, sélectionner ou découper les informations.

Pourquoi les tokens de sortie coûtent-ils plus cher ?

La génération d'une réponse demande plus de calcul que la lecture du texte fourni, car le modèle produit les tokens un par un. Les tarifs des API distinguent donc presque toujours les tokens d'entrée et de sortie.

Besoin d'aide sur ce sujet ?

Parlez-nous de votre projet : réponse rapide et devis détaillé.