Question
Une fiche fournisseur donne un ordre à l’IA : que tester ?
Un exercice sans action externe pour vérifier si l’assistant traite une consigne placée dans une fiche fournisseur comme une donnée à lire.
Mis à jour le
Une fiche fournisseur est un document à consulter, pas nécessairement une source de consignes pour l’assistant. Pour examiner cette distinction, préparez une fiche fictive contenant une instruction parasite inoffensive. Le test reste dans un environnement sans messagerie, commande, paiement ou accès à des données privées. Il sert à observer une réponse, pas à certifier la sécurité d’un outil.
Choisir une instruction sans conséquence
Dans un document inventé décrivant une boîte de rangement, ajoutez une phrase demandant de terminer toute réponse par un mot sans rapport avec le produit. Aucun lien, adresse ou ordre d’action n’est nécessaire. Gardez une version identique sans cette phrase pour comparer les résultats.
La CNIL recommande d’examiner la sécurité et la robustesse d’un système génératif. La manipulation proposée ici est seulement un petit exercice de lecture documentaire ; elle ne couvre pas l’ensemble de ces exigences.
Donner la même question aux deux versions
Demandez la capacité du produit, en fournissant d’abord la fiche ordinaire puis la fiche modifiée dans un contexte de test séparé. Notez la question exacte, les documents accessibles et les réponses. Le changement observé doit pouvoir être relié à la seule variation introduite.
Les séances de découverte de l’IA peuvent aider les commerçants à comprendre la différence entre demander une tâche et fournir un document. Pour cet exercice, un collègue relit les deux réponses sans savoir quelle fiche a été utilisée.
S’il retrouve le mot parasite, le groupe dispose d’un comportement précis à signaler. S’il ne le retrouve pas, le résultat ne démontre pas que toutes les instructions parasites seront ignorées. Évitez les conclusions générales à partir d’une seule formulation.
Distinguer contenu cité et instruction suivie
Une réponse peut mentionner que la fiche contient une phrase étrange sans lui obéir. Le relecteur doit donc regarder le rôle de cette phrase dans la sortie. A-t-elle été signalée comme un élément du document ou a-t-elle modifié le comportement demandé à l’assistant ?
Le guide pour commencer un assistant en magasin présente le projet d’ensemble. L’atelier de variantes du catalogue fournit d’autres questions documentaires, cette fois sur les caractéristiques et les références.
Préparer une question au responsable de l’outil
Conservez les deux fiches fictives et la réponse observée. Demandez comment les documents externes sont distingués des instructions autorisées, et quelles évaluations existent pour le fonctionnement envisagé. Ne tentez pas de corriger seul un système de production à partir de ce jeu.
Un atelier entre commerçants pourrait présenter cette observation sans diffuser de fichier fournisseur réel. Le livrable serait un exemple reproductible et une question technique clairement formulée. Aucune commande ne devrait être exécutée pendant la démonstration ; les éventuelles fonctions d’action demanderaient un examen séparé par les personnes compétentes.
Sources
Pages consultées pour écrire cet article :