L'accuracy ne suffit pas

Un modèle peut devenir plus précis sans créer plus de valeur. C'est l'un des pièges classiques des projets IA en entreprise : la démo progresse, mais le métier ne gagne ni temps, ni fiabilité, ni capacité d'exécution. La bonne question est plus simple : est-ce que le système réduit une friction réelle ou améliore un résultat mesurable ? Les métriques doivent relier le comportement du modèle au workflow, puis le workflow à l'impact métier.

Commencer par une métrique nord-star

Chaque produit IA doit avoir une métrique principale qui décrit le travail métier à améliorer. Pour un assistant interne, ce peut être le taux de questions résolues sans escalade. Pour un pipeline de prévision, la qualité de prévision sur les catégories qui pilotent les décisions. Pour une extraction documentaire, le nombre d'enregistrements validés par heure. Cette métrique évite de piloter le projet avec du volume de prompts, des scores de benchmark ou des indicateurs flatteurs mais déconnectés de l'usage réel.

Ajouter des métriques de garde-fou

Une métrique principale seule peut devenir dangereuse. On peut augmenter le taux de résolution en répondant trop souvent. On peut réduire le coût en dégradant la qualité. On peut faire monter l'adoption avec un outil facile à tester mais peu fiable en production. Je structure les indicateurs en trois couches :

Produit

• Temps jusqu'à la réponse
• Taux de tâche réussie
• Taux d'escalade
• Réutilisation par les équipes ciblées

Fiabilité

• Taux de réponses fondées sur les sources
• Validité des citations
• Latence P95
• Nombre d'incidents et temps de récupération

Business

• Heures économisées
• Coût par tâche réussie
• Adoption par les équipes cibles
• Rework évité ou risque réduit

Le but n'est pas de tout mesurer. Le but est de rendre visibles la qualité, l'adoption et l'impact au même moment.

Un scorecard mensuel utile

Un bon scorecard doit tenir sur une page :

• Tendance nord-star — le workflow principal s'améliore-t-il ?
• Tendance qualité — les réponses, prédictions ou recommandations restent-elles fiables ?
• Tendance adoption — les bons utilisateurs s'en servent-ils vraiment ?
• Tendance coût — l'économie unitaire reste-t-elle acceptable ?
• Prochaine action — quelle amélioration produit ou technique est priorisée ?

Si le scorecard reste vague, le système n'est probablement pas assez connecté aux résultats métier.

Les métriques que j'évite

Je me méfie des indicateurs qui impressionnent mais ne prouvent pas la valeur :

• Volume brut de prompts sans taux de réussite
• Nombre de fonctionnalités IA livrées
• Accuracy hors contexte métier
• Latence moyenne alors que l'utilisateur subit la P95
• Satisfaction déclarative sans analyse des échecs

Ces mesures peuvent aider en support, mais elles ne doivent pas piloter seules la roadmap.

Exemple pour un assistant IA interne

Pour un assistant fondé sur les sources, je suivrais :

• Utilité des réponses : réponses acceptées / questions traitées
• Qualité des preuves : pourcentage de réponses avec citations valides
• Qualité du fallback : questions sans preuve suffisante correctement escaladées
• Impact opérationnel : heures économisées sur la recherche documentaire ou le support répétitif
• Fiabilité : latence P95, taux d'erreur, temps de récupération incident

Cette grille raconte mieux l'histoire que “le bot a répondu à 10 000 questions”. Elle montre si l'assistant est utile, fondé, rapide et maintenable.

Cas liés

• DAISI – Assistant IA pour les processus fournisseurs — impact mesurable avec 13 000 heures économisées par an.
• OpsBot – Assistant IA opérationnel — réponses opérationnelles fondées sur les sources, avec règles de réponse et traçabilité.
• AI Product Photo Detector — déploiement piloté par des KPIs, des quality gates et du monitoring.