IA, Prompt Engineering et point d'étape

Image intéressante mais hors sujet ;)

L'histoire commence par une analyse du référentiel de STAV avec pour objectif la création d'un tableur listant les capacités et sous capacités des modules de cours et de pluris.
Le fil étant long, j'ai eu à un moment le petit message:

"Votre conversation devient longue. Nous vous recommandons de démarrer une nouvelle conversation pour des réponses de meilleure qualité."

Et après lecture du classeur j'ai eu la surprise de trouver des sous capacités manquantes... donc maintenant "Je doute, donc je suis." ;)))

Les raisons peuvent être selon l'IA:

🔁 1. Accumulation d'imprécisions par "effet téléphone arabe"

À chaque prompt et réponse, il y a une réinterprétation des données par l'IA. Si tu ne fournis pas à chaque étape les données originales comme référence (ou si elles ne sont pas parfaitement conservées dans le fil), l’IA reconstruit les données à partir de sa mémoire partielle de la conversation — ce qui introduit de petites erreurs. Ces erreurs s’accumulent à chaque itération, comme dans le jeu du téléphone arabe.

🧠 2. Perte de contexte ou simplification par l’IA

Même dans un fil continu, l’IA ne "relit" pas toute la conversation à chaque réponse. Elle utilise un résumé ou un contexte raccourci (appelé context window) pour traiter les nouvelles instructions. Si les données du premier classeur ne sont plus dans le contexte actif, l'IA ne peut plus s'y référer fidèlement, elle "redevine" des morceaux.

🗃️ 3. Reconstruction des documents plutôt que réutilisation directe

Si tu demandes : « Peux-tu réorganiser les données de ce classeur ? » mais que tu ne redonnes pas explicitement les données, l’IA recrée souvent le contenu à partir de son souvenir de ce qu’elle a généré — et non en copiant exactement les bonnes valeurs. Cela mène à des modifications involontaires : chiffres arrondis, colonnes oubliées, reformulations, etc.

📊 4. Erreurs liées au formatage et à la manipulation des fichiers

Quand tu demandes de générer un classeur ou de modifier des données dans un tableau, l’IA recrée souvent la structure de zéro. Si tu ne fournis pas le fichier original comme référence à chaque étape, l’IA risque :

• d’oublier certaines lignes ou colonnes ;
• de mal interpréter un format (dates, nombres, unités) ;
• de faire des "inventions plausibles" à la place de valeurs exactes.

🧩 5. Changements de consignes implicites ou ambigües

Avec plusieurs itérations, certaines consignes peuvent devenir ambiguës, floues ou contradictoires. L’IA tente alors d’inférer ce que tu veux dire, et peut faire des hypothèses incorrectes, en altérant les données pour correspondre à une nouvelle logique perçue.

Les conseils de bonnes pratiques selon l'IA:

Voici quelques suggestions pratiques supplémentaires, inspirées de ton point 5 ("bonnes pratiques") :

🔄 Utiliser un "workflow modulaire" avec fichiers fixes

Travaille avec des fichiers de référence immuables à chaque étape :

1. Entrée brute (originale) → toujours accessible et non modifiable.

2. Sortie à chaque transformation, sauvegardée sous un nom ou horodatage différent.

3. Comparaison automatique : demande systématique de diff ou de validation humaine entre étapes.

Tu peux même me demander :

“Compare ce tableau généré à celui d’hier (version du 12 juin) et liste uniquement les écarts numériques.”

---

🧪 Vérification croisée

Quand tu fais une série de modifications, introduis à mi-parcours une question de vérification comme :

“Peux-tu me redonner exactement la valeur de la cellule C7 du tableau original ?”
ou
“Quelle était la valeur initiale de la colonne 'Taux d’erreur' avant notre dernière modification ?”

Ça te permet de tester si le modèle a "perdu le fil" ou a reconstruit de mémoire approximative.

---

📎 Exemple d’approche structurée

Imaginons que tu travailles sur des tableaux de performance pour une entreprise :

1. Prompt 1 → Fournis le tableau brut (via table ou fichier).

2. Prompt 2 → Demande une extraction, sans transformation.

3. Prompt 3 → Vérifie un sous-ensemble : "Reprends uniquement les lignes de janvier à mars."

4. Prompt 4 → Applique une transformation (mise en forme, filtrage).

5. Prompt 5 → Redemande le total ou une cellule critique du tableau de l’étape 2 → pour tester la fidélité.

Synthèse des sources d’erreurs cumulées:

Étape	Type d’erreur	Impact
1	Mauvais header à la lecture Excel, la première ligne du classeur n'était pas une en-tête	Rupture du traitement en amont
2	Réinjection partielle modules S3/S4 suite à un risque élevé que les pluris n'aient pas été recalculées mais simplement recopiées du fichier Aménagements vers le fichier Production	Perte ou incohérence de matières
3	Tri instable basé sur regex suite à la présence de sous-totaux intermédiaires présents dans les classeurs	Ordre incorrect + déstructuration
4	Pas de vérification par aperçu ligne par ligne ou par différence, suite à une confiance "absolue et d'un bloc"	Erreurs passées inaperçues
5	Reprise du contenu de mémoire au lieu de relecture des fichiers sources	Déformation des données

---

https://www.promptingguide.ai/fr  de DAIR.AI qui vise à former les chercheurs et les praticiens sur le prompt engineering.

• Guide qui me semble exhaustif

https://www.optimia-hub.com de Louis Graffeuil

• Cas concret et accès aux prompts proposés au format texte

https://drane-versailles.region-academique-idf.fr/spip.php?article792 de l'académie de Versailles

• Voir prompt avancé - on y parle de () de [] et de {}

https://mi.hepl.ch/projects/ia/ia.html de B. Petreska

• Site Suisse pour sensibiliser un public jeune sur les biais