VIFLY IA Toutes les leçons
← Toutes les leçons
Leçon pratiqueAvancé38 min

Laboratoire évaluation : mesurer la qualité avant et après le déploiement

Construisez une évaluation qui mesure le comportement utile, les refus nécessaires et les régressions entre deux versions de votre système IA.

À la finVous repartirez avec un jeu de tests versionné, une grille de notation et une règle de mise en production ou de retour arrière.

01 · Définir ce que signifie réussir

Définir ce que signifie réussir

La qualité n’est pas seulement une réponse agréable. Définissez les critères métier : exactitude, format, citation, sécurité, délai, coût, satisfaction ou intervention humaine nécessaire.

À faire maintenantChoisissez cinq critères, indiquez comment les noter et fixez un seuil minimum pour chaque critère critique.

Pour valider : Mon équipe partage la même définition d’une sortie acceptable.

02 · Composer un jeu de tests vivant

Composer un jeu de tests vivant

Mélangez cas usuels, cas difficiles, cas hors périmètre, entrées ambiguës et tentatives de contournement. Versionnez chaque exemple et conservez le résultat attendu ou les éléments à contrôler.

À faire maintenantCréez quinze tests répartis entre réussite attendue, refus attendu et escalade attendue.

Pour valider : Le jeu révèle les régressions qui comptent pour vos utilisateurs.

03 · Comparer les versions

Comparer les versions

Exécutez le même jeu avec l’ancienne et la nouvelle version. Notez les écarts, les coûts, les temps, les citations et les erreurs. Ne remplacez pas une version sur la base de quelques démos favorables.

À faire maintenantPréparez un tableau avant/après avec trois régressions possibles et la décision prévue pour chacune.

Pour valider : Une amélioration sur un critère ne masque pas une dégradation critique sur un autre.

04 · Surveiller après le lancement

Surveiller après le lancement

La production apporte de nouveaux usages. Collectez des retours, échantillonnez des sorties avec précaution, surveillez les incidents et planifiez des réévaluations après tout changement important.

À faire maintenantDéfinissez qui consulte les alertes, à quelle fréquence, et quelle règle suspend ou restaure une version.

Pour valider : L’évaluation continue après la première mise en production.