Mesurer le gain réel d'une automatisation documentaire

« Combien de temps ça nous fait gagner ? » C’est la question posée à chaque projet d’automatisation, et c’est celle à laquelle on répond le plus mal.

Pas par mauvaise foi : parce que la mesure est plus difficile qu’elle n’en a l’air, et que la plupart des chiffres publiés dans ce domaine comparent des choses qui ne sont pas comparables.

Voici la méthode que j’applique, et les biais qu’elle cherche à éviter.

Mesurer avant, sinon rien

Première règle, et la plus violée : il faut mesurer le processus manuel avant de l’automatiser.

Une fois l’outil déployé, il est trop tard. On demande alors aux utilisateurs d’estimer combien de temps ils passaient « avant », et l’estimation rétrospective est systématiquement biaisée — généralement à la hausse, parce que le souvenir d’une tâche pénible s’allonge.

La mesure préalable n’a pas besoin d’être sophistiquée. Sur un processus de saisie documentaire, une semaine d’observation suffit : combien de dossiers traités, par combien de personnes, pendant combien de temps. Cela demande une demi-journée de préparation et donne un point de référence qu’aucune estimation ne remplacera.

Sans ce point de départ, tout gain annoncé ensuite est une opinion.

Compter de bout en bout, pas l’étape automatisée

C’est le biais principal, et il est presque toujours présent dans les chiffres qu’on lit.

Une automatisation documentaire remplace la saisie. On mesure donc la saisie avant, la saisie après, et on annonce un gain spectaculaire — la machine lit en deux secondes ce qu’un humain tapait en trois minutes.

Sauf que le processus complet ne se limite pas à la saisie. Il comprend :

• la préparation du document — scanner, photographier, retrouver la pièce manquante ;
• la saisie, ou sa vérification quand elle est pré-remplie ;
• la correction des champs mal lus ;
• le traitement des cas où la lecture a échoué, qui repassent en saisie manuelle ;
• la reprise des dossiers rejetés en aval, quand l’erreur vient d’une donnée mal extraite.

L’automatisation supprime le deuxième poste et en crée deux nouveaux : la vérification et la correction. Si l’on ne compte pas ces derniers, on attribue à l’outil un gain qu’il ne produit pas.

La bonne unité de mesure est donc le temps total par dossier abouti, depuis l’arrivée du document jusqu’au dossier accepté. C’est la seule qui ne puisse pas être améliorée en déplaçant le travail ailleurs.

Photo : domaine public (CC0).

Le taux de reprise, l’indicateur qu’on oublie

Un deuxième chiffre est indispensable, et il est rarement suivi : la part de dossiers qui reviennent.

Une extraction fausse mais non détectée ne coûte rien au moment de la saisie — elle coûte plus tard, quand le dossier est rejeté et qu’il faut le reprendre. Ce coût est décalé de plusieurs semaines, ce qui le rend invisible dans une mesure faite juste après le déploiement.

C’est ce qui produit le scénario classique : un bilan enthousiaste à un mois, et une déception à six mois quand les rejets remontent. Le gain n’a pas disparu, il n’avait jamais été mesuré correctement.

Je recommande donc systématiquement une mesure à deux temps : un premier point à un mois sur le temps de traitement, un second à trois ou six mois incluant les reprises. Le second est le seul qui compte pour une décision d’investissement.

Photo : domaine public (CC0).

Les biais qui gonflent les résultats

Trois autres effets méritent d’être connus, parce qu’ils faussent les mesures sans que personne ne triche.

L’effet nouveauté. Les premières semaines, les utilisateurs sont attentifs et le périmètre est restreint aux cas simples. Les chiffres sont bons et ne se maintiennent pas. Une mesure faite pendant cette période surestime le gain.

La sélection des cas faciles. Un pilote porte souvent sur les documents les plus standards. Le taux de lecture correcte y est excellent, et il chute dès l’ouverture à l’ensemble du flux. Si l’on veut un chiffre transposable, il faut mesurer sur un échantillon représentatif du flux réel, pas sur les cas retenus pour la démonstration.

Le déplacement du travail. Il arrive qu’une automatisation fasse gagner du temps à une équipe en en faisant perdre à une autre — par exemple en exigeant des documents mieux préparés en amont. Le gain local est réel et le gain global est nul. C’est pour cela que le périmètre de mesure doit inclure toutes les personnes touchées par le processus, pas seulement celles qui utilisent l’outil.

Photo : Kristin Hardwick — licence CC0.

Ce qu’on peut annoncer honnêtement

Au terme de cet exercice, on obtient un chiffre plus modeste que celui des plaquettes, et défendable.

Ce que je recommande d’annoncer, c’est une fourchette accompagnée de son périmètre : sur quelle étape porte le gain, sur quel type de documents, mesuré sur quelle période, et ce qui reste manuel. Un chiffre nu invite à la contestation dès la première anomalie ; un chiffre encadré tient dans la durée.

C’est aussi ce qui permet de répondre à la question qui suit toujours — « et chez nous ? ». Un gain exprimé avec ses conditions se transpose ; un pourcentage seul ne se transpose pas.

Ce que le gain de temps ne dit pas

Un point que je soulève à chaque restitution : le temps économisé n’est pas du temps récupéré.

Les personnes dont la saisie est automatisée ne rentrent pas chez elles plus tôt. Elles font autre chose — traiter les cas complexes, rappeler des clients, absorber une hausse d’activité sans recruter. Ce report est le vrai bénéfice, et il ne se lit pas sur un chronomètre.

Deux façons de le mesurer honnêtement. Le volume traité à effectif constant : si l’équipe absorbe 30 % de dossiers en plus sans renfort, le gain est démontré, quel que soit le temps par dossier. Et le délai de traitement bout en bout vu du client, qui est ce dont il se plaignait.

Promettre une réduction d’effectif, en revanche, est le meilleur moyen de perdre la coopération des équipes dès le premier atelier — et donc de rater le projet.

Ce que je mesure une fois le système en service

Trois indicateurs, relevés chaque mois, et pas un de plus.

Le taux de cas traités sans intervention, qui doit rester stable. Une baisse signale un changement de format en amont, pas une dégradation du modèle.

Le taux de correction après validation, c’est-à-dire les erreurs passées à travers. C’est le seul indicateur de qualité qui compte vraiment, et il suppose un chemin de retour depuis l’aval.

Le temps passé sur les cas rejetés. S’il augmente, l’automatisation a pris les cas faciles et laissé une file de cas difficiles dont personne n’avait mesuré le coût auparavant.

Restituer les chiffres sans se faire contester

La façon de présenter compte autant que la mesure elle-même, parce qu’un chiffre contesté ne sert plus à rien.

Trois précautions que j’applique systématiquement.

Donner la méthode avant le résultat. Sur quel périmètre, sur quelle période, avec quelle définition. Un interlocuteur qui comprend le calcul discute les hypothèses ; un interlocuteur qui reçoit un chiffre brut discute le chiffre.

Annoncer une fourchette. « Entre 25 et 35 % » est plus crédible et plus défendable que « 31,4 % ». La précision excessive suggère une maîtrise qu’aucune mesure de terrain ne permet.

Montrer ce qui n’a pas marché. Les cas où l’automatisation n’apporte rien, ceux qu’elle a dégradés. Un bilan uniquement positif est lu comme un argumentaire, et il décrédibilise la partie qui est vraie.

Ce qu’il faut retenir

Trois règles suffisent à ne pas se tromper :

1. mesurer le manuel avant, même sommairement ;
2. compter le temps par dossier abouti, pas par étape ;
3. remesurer après plusieurs mois, en incluant les reprises.

Une automatisation qui survit à ces trois règles a un gain réel. Une automatisation dont le gain ne tient que sur la première mesure n’a pas fait disparaître du travail — elle l’a déplacé plus loin dans le processus, là où personne ne regardait.