Notre petit entrepôt ne peut pas se permettre de brûler de l'argent comme ça, alors quand il s'agit des métriques d'acceptation de POC d'IA, je vérifie tout deux fois.

Voici notre situation : un entrepôt de 3,000 mètres carrés, 12 personnes, plus de 800 commandes par jour. Au début de 2025, un fournisseur est venu nous proposer l'inspection visuelle de la qualité : « 99.5% de précision, retour sur investissement en trois mois. » La vidéo de démonstration était magnifique : des cartons glissant sur le convoyeur, des cadres verts apparaissant à l'écran les uns après les autres. J'ai failli signer sur-le-champ. Puis j'ai posé une question : les marchandises de la démonstration, c'est vous qui les avez choisies ? Le commercial a souri et changé de sujet. À ce moment-là, j'ai su que cet argent ne pouvait pas être dépensé pour une démonstration.

Les métriques d'acceptation de POC d'IA ne portent pas sur la qualité de la démonstration. Elles portent sur la performance du système dans un vrai entrepôt. La salle de démonstration a des lumières vives, des cartons bien rangés et un Wi-Fi à pleine puissance. Un vrai entrepôt a la moitié des lumières qui clignotent, des cartons tordus et des zones sans Wi-Fi partout. Un taux de précision de 99% en démonstration peut facilement tomber à 85% en exploitation réelle — et à 85%, le système est pire que les yeux de Lao Zhang.

La démonstration est superbe ; le vrai entrepôt est le vrai test d'acceptation de POC d'IA

Voici la première histoire (scénario illustratif). En mars 2025, nous avons testé un fournisseur d'inspection visuelle. En démonstration, il utilisait des cartons standard aux étiquettes imprimées nettes et annonçait 99% de précision. Dans notre entrepôt, les étiquettes étaient à moitié recouvertes de ruban adhésif, les cartons écrasés et les codes-barres poussiéreux. La précision de la première semaine s'est établie à 87% (exemple illustratif). Un taux d'erreur de 13% signifie que 13 commandes sur 100 nécessitent un nouveau contrôle manuel — plus de travail manuel que notre ancienne inspection entièrement manuelle. Cette IA, en pratique, a été achetée pour rien.

L'écart entre la démonstration et la réalité se résume à trois choses. D'abord, les échantillons : les démonstrations utilisent les « bons élèves », alors que les vrais entrepôts regorgent de cas limites — dommages, taches, reflets, plis, de tout. Ensuite, la vitesse : une démonstration qui scanne 20 articles par minute ralentit vite quand le convoyeur accélère et que les cartons s'entassent. Enfin, l'endurance : une démonstration dure 20 minutes, mais un vrai entrepôt fonctionne 10 heures, et la surchauffe, les ralentissements et les coupures de connexion de la sixième heure n'apparaissent jamais dans une démonstration.

Ma méthode terre-à-terre est donc la suivante : avant l'acceptation, faire tourner le fournisseur deux semaines sur notre volume réel de commandes, avec nos marchandises les plus difficiles. Ne pas utiliser leur jeu de test — utiliser nos pires cartons. Les chiffres de ce test sont les seuls qui appartiennent à un contrat.

Cinq métriques d'acceptation de POC d'IA à inscrire au contrat

D'abord le point contre-intuitif : une IA avec 99% de précision peut quand même vous faire perdre de l'argent. Si elle protège sa précision en renvoyant chaque cas douteux à un humain et que le taux d'intervention manuelle atteint 40%, vous avez payé pour l'IA et gardé le travail manuel. L'acceptation ne peut pas reposer sur un seul chiffre. Les cinq métriques doivent être réussies ensemble.

Métrique Comment la mesurer (vérifié par test en conditions réelles) Seuil d'échec
Précision / taux d'erreur Compter séparément les faux positifs et les faux négatifs sur des commandes réelles Faux positifs au-dessus de 2%, ou défauts manqués au-dessus de 0.5%
Vitesse et débit Débit réel sur 4 heures continues, hors temps de préparation En dessous de 90% de la vitesse promise
Stabilité et disponibilité 8 heures de fonctionnement continu sans panne ni redémarrage Plus de 1 panne en 8 heures
Taux d'intervention manuelle Part des commandes nécessitant un contrôle ou une prise en charge humaine Au-dessus de 5%
Vrai retour sur investissement Main-d'œuvre économisée moins les nouveaux coûts, calculé à partir des données du test en conditions réelles Retour supérieur à 18 mois

La précision doit être décomposée en faux positifs et faux négatifs. Un faux positif signale des marchandises bonnes comme mauvaises et gaspille de la main-d'œuvre ; un défaut manqué laisse passer des marchandises mauvaises et coûte des clients et des demandes d'indemnisation. Les deux chiffres figurent au contrat. Tout fournisseur qui annonce un seul chiffre de « précision » joue un jeu.

La vitesse doit être mesurée sur quatre heures continues à volume réel. Un sprint de dix minutes en démonstration ne compte pas — ce qui compte, c'est de tenir la vitesse pendant un pic de quatre heures. La stabilité est encore plus concrète : huit heures d'affilée, et plus d'une panne signifie échec. L'IA est un équipement, et un équipement se teste comme un équipement.

Le taux d'intervention manuelle est le chiffre qui m'importe le plus. Dans un petit entrepôt, 5% et 15% sont deux activités différentes. À 5%, une personne contrôle à temps partiel ; à 15%, il faut une personne dédiée à surveiller le système, et la main-d'œuvre économisée revient aussitôt. Le ROI fonctionne de la même façon : main-d'œuvre économisée, moins l'électricité, la maintenance, les consommables et le salaire du contrôleur dont on a encore besoin. L'économie nette divisée par l'investissement donne la vraie période de retour. Les fournisseurs ne comptent souvent que les économies et oublient les coûts — alors refaites le calcul vous-même.

Les jeux de chiffres des fournisseurs — et les pièges dans lesquels je suis tombé

Voici la deuxième histoire (scénario illustratif). En mai 2025, un autre fournisseur a proposé la prévision de la demande. La démonstration affichait 92% de précision de prévision, ce qui semblait excellent. En creusant, ce 92% ne couvrait que les articles les plus vendus ; les produits de longue traîne étaient entièrement exclus. Les articles de longue traîne représentent 60% de notre entrepôt, donc ce 92% ne nous servait presque à rien. Un autre fournisseur annonçait « 5,000 commandes par jour » — avec en petits caractères « conditions de laboratoire ». Sur notre réseau et notre éclairage réels, le débit a chuté de 30%.

Les jeux de chiffres habituels des fournisseurs sont : présenter le sous-ensemble le plus flatteur, présenter des conditions de laboratoire, créditer l'IA pour du travail réellement effectué par des humains, et compter les revenus dans le ROI en ignorant les coûts. La solution est simple et têtue : chaque chiffre est vérifié par un test en conditions réelles, et chaque chiffre du contrat porte la mention « basé sur deux semaines consécutives de tests en conditions réelles dans notre entrepôt ». Tout chiffre sans source est traité comme « soumis à un test en conditions réelles » — je n'en discute pas, je le mesure.

Il y a aussi l'astuce du « pilote gratuit ». Ça a l'air gratuit, mais quand le pilote se termine, les formats de données, les interfaces et la formation sont tous verrouillés chez ce fournisseur, et changer signifie recommencer à zéro. Gratuit est le prix le plus cher qui soit, et cela vaut aussi pour les pilotes d'IA. Avant tout pilote, posez une question : quand le pilote se termine, puis-je exporter toutes mes données en intégralité ? Sinon, je ne le ferai pas, même gratuitement.

Si l'acceptation échoue : rédigez d'abord la clause de sortie

La partie la plus importante du contrat n'est pas les métriques d'acceptation de POC d'IA — c'est ce qui se passe quand l'acceptation échoue. Ma version comporte trois clauses, et aucune ne peut être omise.

Premièrement, le paiement échelonné : 30% à la signature, 40% quand les tests en conditions réelles sont réussis, et les 30% restants après trois mois d'exploitation stable. Celui qui détient l'argent détient le levier. Avec un contrat payé intégralement d'avance, vous n'avez presque aucun pouvoir de négociation au moment de l'acceptation.

Deuxièmement, un délai de correction et un droit de sortie : si l'acceptation échoue, le fournisseur dispose de 30 jours pour corriger, et si la correction échoue, nous pouvons résilier le contrat et récupérer 70% des sommes versées (exemple illustratif ; les conditions réelles suivent le contrat signé). Limitez le nombre de tentatives de correction à deux — ne laissez pas « encore un petit ajustement » s'éterniser. Trois mois d'ajustements, et la haute saison est déjà passée.

Troisièmement, la propriété des données : toutes les données d'étiquetage et les relevés de réglage produits pendant le pilote nous appartiennent, et le fournisseur remet tout en intégralité à son départ. Cette clause empêche le verrouillage. Sans elle, changer de fournisseur signifie repartir de zéro.

Un petit entrepôt a sa propre façon de survivre. Notre méthode est rudimentaire, mais elle fonctionne : ne faites pas confiance à la démonstration, faites confiance au test en conditions réelles ; ne faites pas confiance à un chiffre, faites confiance à cinq métriques ; ne signez pas un contrat sans clause de sortie. Que l'IA puisse vraiment faire économiser de l'argent à un petit entrepôt, ce sont les cinq chiffres de la fiche d'acceptation qui en décident — pas les chiffres d'un argumentaire commercial. Testée ainsi, au moins une chose est garantie : l'argent est dépensé les yeux ouverts, et non gaspillé.

Par Xiao Ma, propriétaire d'un petit entrepôt Traduit de l'anglais. En cas de divergence, la version anglaise fait foi.