Mesurer le gain réel d’un usage IA : la méthode avant / après

Mesurer le ROI de l’IA sur un usage assisté est nettement plus difficile que sur une automatisation. Quand un robot traite une facture de bout en bout, le calcul est mécanique : nombre de factures, temps unitaire économisé, coût horaire. Quand un rédacteur, un juriste ou un commercial utilise un assistant pour aller plus vite, le gain se dilue dans une journée de travail où personne ne chronomètre rien.

Résultat, deux discours coexistent dans la même entreprise et aucun n’est vérifiable : « on gagne un temps fou » côté utilisateurs enthousiastes, « je n’ai vu aucune différence sur les délais » côté direction. Les deux peuvent être vrais en même temps, parce que le temps gagné sur une tâche ne se transforme pas automatiquement en résultat visible.

Cet article propose un protocole applicable à un usage isolé, en quatre étapes et sur six à huit semaines : relevé de la situation initiale, construction de l’échantillon, période témoin, calcul du gain net. Il complète, côté usage assisté, la méthode déjà décrite pour mesurer le retour sur investissement d’une automatisation, où le gain est bien plus facile à isoler.

Mesurer le ROI de l’IA : pourquoi le gain de productivité se mesure mal

Quatre mécanismes brouillent la mesure, et il vaut mieux les connaître avant de commencer.

• Le gain est fractionné. Douze minutes gagnées ici, huit là. Ces minutes ne s’additionnent pas en un bloc utilisable, elles se dissolvent dans les interruptions de la journée.
• La tâche change de nature. On ne fait plus la même chose : on relit au lieu de rédiger, on arbitre au lieu de chercher. Comparer les durées revient parfois à comparer deux métiers.
• La qualité bouge aussi, dans les deux sens, et si vous ne la mesurez pas, votre gain de temps peut n’être qu’un transfert de coût vers l’aval (relectures, corrections, retours clients).
• Le périmètre s’étend. Parce que c’est devenu facile, on produit plus. C’est parfois un vrai bénéfice, parfois de l’activité inutile qui ne se voit pas dans le compte de résultat.

D’où une règle de méthode : on ne mesure jamais « l’IA » en général, on mesure un usage précis, sur une tâche identifiable, avec un début et une fin. Si vous ne savez pas décrire la tâche en une phrase, le cadrage n’est pas fait, et il faut revenir à la méthode pour cadrer un projet IA.

Étape 1 : relever la situation initiale avant de déployer

C’est l’étape qu’on ne peut pas rattraper. Une fois l’outil déployé, la situation initiale devient une reconstitution de mémoire, systématiquement flatteuse pour le projet.

Sur deux à trois semaines, relevez pour la tâche visée : le temps passé par unité produite, le volume traité par période, un indicateur de qualité, et un indicateur de délai vu du destinataire. Le relevé n’a pas besoin d’être sophistiqué. Un tableau à quatre colonnes rempli par trois personnes volontaires, à raison d’une ligne par tâche, suffit largement.

Deux précautions comptent plus que la précision. D’abord, mesurer une période représentative : pas la semaine de clôture, pas la semaine de vacances. Ensuite, annoncer clairement que la mesure porte sur le processus et non sur les personnes. Un relevé perçu comme un contrôle produit des chiffres inutilisables.

Définissez enfin l’indicateur de qualité avant de commencer, en termes vérifiables : nombre d’allers-retours avant validation, taux de corrections en relecture, nombre de réclamations. « La qualité perçue » n’est pas un indicateur, c’est une conversation.

Étape 2 : construire un échantillon et une période témoin

La comparaison naïve consiste à déployer l’outil à tout le monde et à comparer le mois suivant au mois précédent. Elle attribue à l’IA tout ce qui a changé par ailleurs : saisonnalité, arrivée d’un nouveau client, départ d’un collègue, changement d’un autre outil.

Deux dispositifs plus solides, applicables sans statisticien :

1. Le groupe témoin : deux équipes comparables font le même travail, une seule reçoit l’outil pendant quatre semaines. C’est la méthode la plus fiable, à condition d’avoir deux groupes de taille suffisante (cinq personnes au minimum de chaque côté).
2. L’alternance : chaque personne travaille une semaine avec l’outil, une semaine sans, en alternance, sur quatre semaines. Cela neutralise les différences entre individus, qui sont souvent plus grandes que l’effet mesuré. C’est le dispositif à privilégier dans les petites structures.

Dans les deux cas, fixez d’avance la taille de l’échantillon et la durée. Un protocole qu’on arrête « parce que les résultats sont bons » ne mesure plus rien.

Étape 3 : les quatre biais qui gonflent les résultats

Tout dispositif conçu pour évaluer un usage IA rencontre les mêmes biais. Les nommer suffit souvent à les corriger.

Le dernier point mérite une attention particulière : le taux d’abandon est un indicateur à part entière. Un outil utilisé sur 30 % des cas avec un gain de 50 % ne produit pas le même effet global qu’un outil utilisé partout avec un gain de 15 %.

Étape 4 : calculer le gain net, coûts compris

Le gain brut se calcule facilement. Le gain net demande de soustraire tout ce que l’usage a ajouté. Voici un exemple chiffré volontairement modeste, pour une équipe de cinq personnes sur une tâche de rédaction de comptes rendus.

Treize heures par mois pour une équipe de cinq personnes, c’est un résultat honnête et défendable, très loin des promesses commerciales. C’est aussi un chiffre qu’on peut présenter sans se faire contredire, ce qui vaut mieux qu’une estimation ambitieuse qui s’effondre à la première question. La ventilation des coûts d’usage, en particulier quand la facturation dépend du volume traité, est détaillée dans notre article sur le coût du token et la facture des API d’IA.

Une dernière conversion, souvent oubliée : treize heures gagnées ne deviennent un bénéfice que si elles servent à quelque chose de décidé. Sans décision explicite (absorber une croissance, réduire un délai, arrêter une sous-traitance), le temps gagné se dissipe et la direction ne verra jamais l’effet.

Ce qu’on décide au vu du résultat

Trois issues, toutes acceptables :

• Gain net solide : on généralise, et on refait la même mesure sur le deuxième usage candidat. Les indicateurs d’un projet IA se construisent usage par usage, pas en bloc.
• Gain net faible mais qualité en hausse : on garde, en le justifiant par la qualité et non par la productivité. Il faut alors mesurer la qualité sérieusement, sinon l’arbitrage ne tiendra pas au premier arbitrage budgétaire.
• Gain net nul ou négatif : on arrête cet usage précis, ce qui ne dit rien des autres. C’est le principal intérêt d’une mesure par usage isolé.

Mesurer le ROI de l’IA n’est pas un exercice de justification a posteriori, c’est un outil de décision. Six à huit semaines de protocole, trois indicateurs, un tableau de coûts : c’est le prix à payer pour arrêter de discuter d’impressions et commencer à choisir sur des chiffres que personne ne peut vous contester.