Voici mon verdict d'emblée : si un contrat avec un fournisseur d'IA ne traite pas de la dégradation des modèles, réfléchissez-y à deux fois avant de signer. Ce chiffre de précision des tests d'acceptation ? Il n'était vrai que ce jour-là, dans ces conditions. Après la mise en production, la dégradation n'est pas une possibilité, c'est de la physique. Et si le contrat est muet sur le sujet, c'est vous qui portez tout le risque.
La dégradation n'est pas un bug. C'est la norme.
En 2023, j'étais dans un entrepôt 3PL près de Phoenix — environ 100,000 pieds carrés, e-commerce d'articles pour la maison. Ils avaient installé un système de vision sur le poste d'audit de la ligne de tri : des caméras photographiaient l'étiquette d'expédition et l'apparence du produit de chaque colis, vérifiant automatiquement que le SKU était correct. Pendant la semaine d'acceptation, le fournisseur est arrivé avec un rapport de test affichant 99.2% de précision de reconnaissance. Le responsable d'entrepôt était ravi et a signé un contrat de service de trois ans.
Huit mois plus tard, les plaintes ont commencé. Les fausses alarmes au poste d'audit ne cessaient d'augmenter. Les opérateurs devaient tout revérifier à la main, et le débit est tombé en dessous de ce qu'il était avant l'installation du système. Nous avons sorti les données : la précision avait glissé à juste au-dessus de 95%. Que s'est-il passé pendant ces huit mois ? Trois choses — et aucune n'était la faute de personne.
D'abord, le mix de SKU a changé. Les articles pour la maison tournent vite au fil des saisons. En huit mois, ils avaient ajouté plus de 400 nouveaux SKU, dont beaucoup de versions reconditionnées de produits existants. De nouvelles couleurs, des dimensions légèrement modifiées, et le modèle a commencé à peiner. Ensuite, la saisonnalité. Entre Thanksgiving et Noël, le volume de colis a doublé, le convoyeur a été accéléré et la qualité de capture des caméras a baissé. Troisièmement, un petit ajustement de processus : l'entrepôt a remplacé les tubes fluorescents du poste d'audit par des LED plus lumineuses. La température de couleur a changé et les caractéristiques du modèle basées sur la couleur ont dérivé de leur cible.
C'est la dérive de la distribution des données, en termes simples : les données que le modèle voit chaque jour cessent peu à peu de ressembler aux données sur lesquelles il a été entraîné. Les systèmes de vision ne sont pas les seules victimes. J'ai vu un modèle de prévision de réapprovisionnement dans un entrepôt de vêtements doubler son erreur après un changement des habitudes d'achat des consommateurs — le système continuait à commander sur la base de courbes de demande datant d'il y a des années. Alors retenez ceci : la dégradation n'est pas un bug, c'est la norme. Chaque modèle qui tourne dans un entrepôt — vision, prévision, détection d'anomalies — se dégrade. La seule question est de savoir à quelle vitesse.
Sans clauses de dégradation, le chiffre d'acceptation n'est que décoration
Ce qui a rendu le cas de Phoenix douloureux, ce n'était pas la technologie. C'était le contrat. Sur trois ans de contrat, la précision n'apparaissait qu'une seule fois — dans la clause d'acceptation. Atteindre 99%, validé, terminé. Après l'acceptation, le contrat ne disait rien sur la précision. Quand le modèle est tombé à 95%, la réponse du fournisseur était parfaitement « raisonnable » : le contrat ne couvre aucune métrique après le lancement, donc le réentraînement est un nouveau service, facturé séparément.
Le responsable d'entrepôt était furieux quand il m'a appelé. « Nous avons accepté à 99.2%, maintenant c'est 95% — comment n'est-ce pas un manquement ? » Je lui ai donné la réponse inconfortable : selon la lettre du contrat, ce n'en est pas un. La clause d'acceptation ne régissait qu'un seul jour. Tout ce qui suivait n'était pas écrit. Il n'avait pas signé « 99% de précision pendant trois ans ». Il avait signé « 99% le jour de l'acceptation — bonne chance pour la suite ».
J'ai vu plus d'un contrat de ce type. Les fournisseurs d'IA vendent toujours le chiffre d'acceptation : 99%, 99.5%, de beaux chiffres. Mais l'acceptation est mesurée sur un jeu de données que le fournisseur a préparé avec soin — éclairage idéal, angles idéaux, distribution de SKU idéale. Un entrepôt en activité est un animal complètement différent.
Il y a une autre dimension que la plupart des gens manquent : les fournisseurs n'ont aucun intérêt à proposer spontanément des clauses de dégradation. Leur modèle économique repose sur les licences logicielles et les services d'implémentation, et les frais de réentraînement par cycle sont une belle source de revenus récurrents. Plus le modèle se dégrade vite, plus ils vendent de réentraînements. Inscrire des obligations de dégradation dans le contrat — par exemple le réentraînement gratuit pendant la période de garantie — revient à réduire leurs propres revenus. Si vous ne le soulevez pas, ils ne le feront pas non plus. C'est à l'acheteur de l'exiger à la table des négociations.
Mon jugement demeure : un contrat qui parle d'acceptation mais ne mentionne jamais la dégradation transfère silencieusement 100% du risque de dégradation à vous. Le fournisseur est payé. Vous vivez avec les conséquences.
Faites du réentraînement une obligation du fournisseur
Que devrait réellement contenir le contrat ? Une chaîne logique : définir la référence, fixer le déclencheur, attribuer l'obligation de réentraînement, détailler les conséquences d'un échec persistant. Si un maillon casse, toute la chaîne échoue.
Verrouillez la métrique de référence — et la méthode de mesure. « Précision jamais inférieure à 98% » seul ne vaut rien. Mesurée sur quelles données ? Combien d'échantillons ? Agrégation quotidienne ou hebdomadaire ? La haute saison pondérée comme la basse saison ? Sans la méthode écrite noir sur blanc, chaque litige devient une joute verbale. Ma formulation recommandée : adopter le jeu de tests d'acceptation comme jeu de données de référence, retester chaque trimestre sur un jeu d'échantillons nouvellement étiquetés de taille et de distribution équivalentes, et juger sur une moyenne mobile de quatre semaines. Une fois la méthode dans le contrat, le fournisseur ne peut plus vous écarter avec un « de notre côté, tout semble normal ».
Le déclencheur doit être précis. Par exemple : la précision mobile reste plus de deux points de pourcentage sous la référence pendant quatre semaines consécutives, et le fournisseur vous doit un cycle de réentraînement. Ou une baisse relative supérieure à 5%. Le chiffre exact est négociable — mais il doit y avoir un chiffre. Sans déclencheur, « réentraîner quand ça se dégrade » est une phrase vide. Qui décide de ce qui compte comme dégradé ? Vous discuterez de cela au lieu de réparer le modèle.
La propriété et le coût du réentraînement sont la clause la plus précieuse de l'accord. Précisez : combien de jours ouvrés le fournisseur a pour livrer le modèle réentraîné après un déclencheur ; si le réentraînement est gratuit pendant la période de garantie ou facturé par cycle avec un plafond écrit ; combien de jours à l'avance vous devez fournir des données étiquetées pour les nouveaux SKU, et qui paie la reprise quand vos étiquettes sont mauvaises. L'entrepôt de Phoenix s'est bloqué précisément ici — le devis de réentraînement du fournisseur atteignait presque le coût d'une nouvelle implémentation. Et ne négligez pas le piège de l'étiquetage : dans de nombreux entrepôts, l'étiquetage est fait à temps partiel par les opérateurs, avec une qualité inégale. Mettez dans le contrat la norme d'étiquetage et un ratio d'échantillonnage/contrôle, ou vous finirez avec un modèle réentraîné moins performant et deux parties qui se rejettent la faute.
Enfin, les conséquences d'un échec persistant. Les avoirs de service (service credits) sont l'outil standard : si la métrique est manquée un mois donné, la redevance de ce mois est réduite d'un pourcentage indiqué. Plus importante est la clause de sortie : si la métrique reste manquée pendant trois mois consécutifs malgré le réentraînement, vous pouvez résilier sans pénalité, et le fournisseur doit remettre le modèle, les données d'entraînement et la documentation — et coopérer à la migration. Sans clause de sortie, vous êtes coincé : le modèle continue de se dégrader, changer de fournisseur coûte une fortune, alors vous renouvelez en vous bouchant le nez.
Liste de vérification avant signature — vérifiez chaque point avant de signer :
- Métrique de référence, verrouillée : le chiffre d'acceptation plus la méthode de mesure (composition du jeu de test, taille d'échantillon, fenêtre de mesure, formule de la moyenne mobile).
- Déclencheur de dégradation : combien de points sous la référence, maintenus pendant combien de semaines, déclenche l'obligation de réentraînement du fournisseur.
- Délai de réentraînement : jours ouvrés pour livrer le modèle réentraîné après un déclencheur, et ce qui compte comme livré.
- Répartition des coûts : le réentraînement est-il gratuit pendant la période de garantie ; si facturé, un plafond par cycle inscrit au contrat.
- Obligation de fourniture de données : combien de jours à l'avance vous fournissez des données étiquetées pour les nouveaux SKU ou les changements de processus ; qui assume la reprise des mauvaises étiquettes.
- Rapports de suivi : le fournisseur livre les courbes de précision et les métriques de dérive mensuellement ou trimestriellement ; vous réservez des droits d'audit sur les données brutes.
- Crédits de service : un pourcentage concret de réduction de la redevance pour tout mois où la métrique est manquée.
- Clause de sortie : des échecs persistants (p. ex. trois mois) vous donnent une résiliation sans pénalité ; le fournisseur remet modèle, données et documents, et coopère à la migration.
Traduit de l'anglais. En cas de divergence, la version anglaise fait foi.
