Des notes de recherche aux déploiements civiques

Un prototype peut réussir sur un jeu de données et échouer dans une organisation réelle. Les données changent, les responsabilités sont distribuées, les personnes concernées contestent parfois la décision et le coût d’une erreur n’est pas le même que dans un laboratoire. Le déploiement civique doit donc être conçu comme une expérience réversible, pas comme la dernière étape automatique de la recherche. Cette approche rejoint le responsible AI, qui demande d’intégrer les risques, les recours et les personnes affectées dès la conception.

Les briques technologiques à mettre en regard

Les technologies existantes offrent des leviers, mais chacune répond à une partie du problème : un modèle de classification ou un LLM (Large Language Model) produit une sortie, un registre de modèles conserve les versions, un audit trail relie les actions aux opérateurs, et une interface de recours permet aux personnes concernées de demander une correction. Une organisation peut aussi utiliser un dispositif human-in-the-loop, dans lequel une personne vérifie ou peut interrompre la décision automatisée. Pour les données sensibles, le federated learning — apprentissage fédéré sans centraliser toutes les données —, la differential privacy — ajout contrôlé de bruit statistique — ou la pseudonymisation peuvent réduire l’exposition, sans supprimer les risques de ré-identification ou de biais.

La recherche ne doit donc pas comparer uniquement la précision de deux modèles. Elle doit aussi demander : quelle architecture permet à une personne non spécialiste de comprendre une décision, de la contester et d’obtenir une réponse dans un délai acceptable ? Cette question relie IA, interaction humain-machine, gouvernance des données et ingénierie des systèmes.

Commencer par un mémo de décision

Avant de choisir un modèle, écrivez une page qui répond à six questions :

1. quel problème concret veut-on réduire ?
2. qui prend la décision et qui la subit ?
3. quelle donnée est nécessaire, et laquelle ne l’est pas ?
4. quelle erreur serait la plus dommageable ?
5. qui peut contester ou corriger le résultat ?
6. quelle condition impose l’arrêt du pilote ?

Ce mémo sert de point de comparaison. Si le système évolue, on peut distinguer une amélioration utile d’un simple déplacement du problème.

Construire un laboratoire vivant

Un petit pilote ne signifie pas une évaluation légère. Il faut choisir un périmètre limité, informer les participants, définir les indicateurs et prévoir une comparaison avec la procédure existante. Les retours qualitatifs comptent autant que la métrique du modèle : une sortie statistiquement correcte peut rester incompréhensible ou trop coûteuse à vérifier.

La collecte de preuves doit couvrir le contexte de la décision, la version du système, les interventions humaines, les erreurs et les demandes de recours. Il faut également surveiller le model drift, c’est-à-dire la dégradation ou le changement du comportement du modèle lorsque les données du terrain évoluent. Les données de terrain deviennent ainsi un matériau de recherche, mais aussi une responsabilité à protéger.

Décider : arrêter, corriger ou étendre

Décision	Condition à documenter	Suite immédiate
Arrêter	Risque non maîtrisé ou recours impossible	Suspendre et préserver les traces
Corriger	Défaut localisable et impact limité	Modifier, tester et refaire relire
Étendre	Bénéfice démontré, limites connues, recours actif	Augmenter progressivement le périmètre

La décision d’étendre ne devrait jamais dépendre d’un seul score. Elle suppose un responsable, une capacité de retour arrière et une manière de vérifier que le système reste pertinent lorsque le contexte change.

Suivre un cas de bout en bout

Imaginons un outil qui aide à orienter des demandes vers un service public. Un cas d’étude ne devrait pas s’arrêter à la prédiction. Il doit suivre le parcours complet : donnée reçue, résultat proposé, vérification humaine, décision finale, éventuel recours et correction appliquée.

Ce parcours permet de distinguer trois erreurs souvent confondues :

• l’erreur de donnée, lorsque l’information initiale est incomplète ou incorrecte ;
• l’erreur de modèle, lorsque la sortie ne correspond pas aux données disponibles ;
• l’erreur de processus, lorsque la sortie est raisonnable mais qu’aucune personne ne peut la contester ou la corriger.

Le case management, ou suivi structuré d’un dossier, aide à conserver ces étapes sans réduire la situation à un score. Il rend aussi possible une analyse des délais : temps avant revue humaine, temps avant réponse au recours et temps avant correction.

Un pilote devrait définir ses stop conditions, c’est-à-dire les conditions d’arrêt, avant le premier déploiement. Elles peuvent concerner un taux de recours trop élevé, une dérive entre groupes, une indisponibilité du responsable ou une impossibilité de reconstruire une décision.

Une hypothèse à tester au Maroc

Dans un service local d’orientation vers une aide ou une formation, on pourrait comparer trois parcours : traitement manuel, recommandation automatique vérifiée par un agent, puis recommandation automatique avec possibilité de recours simplifiée. L’objectif ne serait pas de démontrer que l’IA est meilleure par principe, mais d’observer dans quelles conditions elle réduit réellement le délai sans réduire la qualité de l’accompagnement.

Les indicateurs devraient combiner vitesse et équité : délai médian, taux de dossiers réorientés, demandes de correction, compréhension de la décision et écarts entre catégories d’usagers. Les entretiens qualitatifs sont indispensables : une décision rapide mais incompréhensible peut augmenter la charge des agents au lieu de la réduire.

Une objection raisonnable est que la supervision humaine coûte plus cher que l’automatisation complète. C’est vrai à court terme. Mais le coût d’un recours impossible, d’une décision non reconstruite ou d’un retour arrière mal préparé doit aussi apparaître dans l’évaluation.

Pistes à découvrir

Un pilote peut devenir un objet de recherche en comparant plusieurs formes de supervision : validation systématique, échantillonnage humain ou intervention déclenchée par l’incertitude. On peut mesurer la qualité des décisions, le temps de traitement, le taux de recours, la charge des agents et les écarts entre groupes concernés.

Une autre piste consiste à construire un « jumeau de décision » : une copie instrumentée du processus qui rejoue des cas historiques avec différentes versions du modèle, des règles et des seuils. Cela permettrait d’étudier les effets d’un changement avant de le déployer. La question ouverte est alors celle de la réversibilité réelle : peut-on corriger le système sans perdre la trace des décisions déjà prises ni déplacer le risque vers les personnes qui assurent le recours ?

Préparer la réversibilité

Un déploiement responsable indique à l’avance comment désactiver le modèle, revenir à la procédure précédente — un rollback —, prévenir les personnes concernées et analyser les décisions déjà produites. Cette réversibilité coûte un peu de conception au début, mais elle évite de transformer un pilote en dépendance irréversible.

À retenir

La recherche devient utile sur le terrain lorsqu’elle conserve ses hypothèses, ses limites et ses conditions d’arrêt. Un déploiement civique réussi n’est pas celui qui automatise le plus ; c’est celui qui permet d’apprendre sans perdre la capacité de comprendre, contester et interrompre.