IA, dilution et context windows

La dilution du contexte actif est effectivement une cause majeure des erreurs progressives. Voici une explication précise, suivie de méthodes concrètes pour l’évaluer et la gérer.

Je retiens tiktoken, forte consommation de token si analyse de fichiers et si génération de fichiers, dilution du context windows et pour les classeurs la première ligne doit être une ligne d'en-tête...
Je note aussi que la traduction automatique de l'anglais vers le français est une mauvaise idée.

ChatGPT a dit :

Qu’est-ce que le context window ?

• Il s’agit de la fenêtre de contexte active que le modèle peut utiliser à un instant donné.

• Elle contient :

  • Les messages précédents de l’utilisateur (prompts),

  • Les réponses du modèle,

  • Parfois des résumés internes (compression de mémoire).

• Exemple : GPT-4-turbo a une context window de 128k tokens (environ 96 000 mots).

Comment évaluer la dilution du contexte ?

1. En nombre de tokens (approche précise)

• 1 prompt : environ 20 à 200 tokens

• 1 réponse moyenne (500 mots) : environ 700 tokens

• 1 page de texte brut : environ 1 500 tokens

• 1 tableur converti en texte : entre 1 000 et 5 000 tokens

• Si tu dépasses environ 100k tokens :

  • Le modèle commence à résumer ou oublier certaines parties du contenu.

  • Il y a un risque de perte de fidélité dans les détails.

2. Par longueur du fil de discussion (approche empirique)

• Conversation de plus de 60 à 80 messages

• Utilisation de nombreux blocs de données ou extraits de fichiers

• Symptômes observables :

  • Approximation ou oubli de données

  • Réinvention partielle de structures

  • Contradictions avec les consignes initiales

3. Par symptômes dans le comportement du modèle

• Données modifiées sans instruction

• Perte de règles implicites (tri, formats, etc.)

• Confusion entre sources ou fichiers

• Reprise approximative de contenu ancien

Comment atténuer ou contrôler la dilution ?

1. Réinjecter les données critiques

• Redonner régulièrement les éléments importants dans le fil :

  • "Je te redonne ici le tableau de référence Aménagement."

  • "Voici à nouveau les modules S3/S4 Production."

2. Travailler par blocs isolés

• Diviser le projet en étapes indépendantes :

  • Bloc 1 : cours

  • Bloc 2 : vérification des totaux

  • Bloc 3 : pluris

  • Bloc 4 : tri

• Reprendre à chaque fois les données nécessaires sans supposer leur présence en mémoire

3. Exporter et réimporter les fichiers intermédiaires

• Sauvegarder les résultats à chaque étape

• Réutiliser les fichiers comme base stable :

  • "Voici le fichier généré à l’étape 2. Utilise-le tel quel."

4. Surveiller les tokens avec des outils

• Utiliser tiktoken ou des estimateurs en ligne pour :

  • Calculer le nombre de tokens utilisés dans une conversation

  • Savoir quand on approche de la limite de la mémoire contextuelle

Résumé

• Mémoire active approximative : environ 96 000 mots

• Dilution probable à partir de 80 000 tokens si le contenu est structuré ou complexe

• Signes visibles : approximations, oublis, reconstructions de données

• Solutions concrètes : découpage du travail, réinjection des éléments clés, usage de fichiers intermédiaires

Question : 

Dans le cadre de ce fil, indique moi le tiktoken

ChatGPT a dit :

Dans le cadre de ce fil de conversation, une estimation du nombre de tokens utilisés (tiktoken) est tout à fait possible. Voici un calcul approximatif basé sur :

• les messages que tu as envoyés (textes denses),

• mes réponses (assez longues et techniques),

• et le contenu extrait du PDF conversationnel, qui contient du code, des tableaux et du texte.

Estimation manuelle du total actuel de tokens

Source	Approx. mots	Estim. tokens
Ton 1er message (explication des dégradations)	~500 mots	~700 tokens
Mes réponses (4 longues blocs explicatifs)	~2 500 mots	~3 300 tokens
Extrait du PDF conversation.pdf (fil complet)	~3 500 mots	~4 500 tokens
Derniers échanges ("exporte-moi", "supprime")	~300 mots	~400 tokens
Total cumulé estimé	~6 800 mots	~8 900 tokens

Résultat

• Estimation du tiktoken pour ce fil complet : environ 8 900 tokens

• Marge de sécurité : ± 10 % selon encodage réel des noms de colonnes, code Python, sauts de lignes, etc.

Comparatif

• Limite GPT-4-turbo : 128 000 tokens

• Tu es actuellement à moins de 10 % de cette limite

• Donc aucune dilution de contexte grave n’est encore survenue ici, sauf si tu injectes de gros fichiers ou de longs extraits Excel/textes dans la suite.