Quantcast

Nozha Boujemaa : “Les algorithmes doivent apporter une aide à la décision mais pas en être les prescripteurs”

8 déc. 2017
  • 05
    MIN
  • 0

“L’algorithme d’APB a été longtemps utilisé au-delà de ce pourquoi il a été conçu au départ”, souligne Nozha Boujemaa, directrice de recherche à l’Institut national de recherche en informatique et en automatique (Inria), en charge du programme TransAlgo. Actuellement en cours de développement, ce programme vise à doter l'administration d'algorithmes respinsables, transparents et éthiques par construction (accountable-by-design). Car si “les algorithmes se trompent peu, c’est toujours de trop quand il s’agit de la liberté des personnes et de leurs droits civiques”, extime-t-elle.

 


La transparence des algorithmes est une obligation pour les administrations depuis la loi pour une République numérique votée en 2016. La plate-forme TransAlgo a-t-elle pour dessein de les y aider ?
TransAlgo est née du constat de la nécessité d’accompagner cette obligation de transparence par des outils et des méthodes algorithmiques facilitant l’auditabilité des algorithmes. Mieux encore, le programme vise la conception d’algorithmes équitables et responsables « par construction » (by design). Il est essentiel de prendre en compte la dualité des données et des algorithmes en veillant à la transparence de l’usage des données à chaque étape, depuis la conception jusqu’à l’exécution d’un algorithme. Les méthodes et les outils techniques liés à la responsabilité et à la transparence des systèmes algorithmiques (données et algorithmes) sont un sujet complexe et multiforme. Les propriétés comme par exemple l’équité, la non-discrimination ou la loyauté incluent une part importante de subjectivité dépendant des cas d’usage et des contextes. TransAlgo vise à faire progresser la compréhension des enjeux et des défis de la transparence des systèmes algorithmiques pour des publics multiples. Ce programme contribuera à la diffusion d’une culture de responsabilité, de transparence et d’éthique par construction (accountable-by-design) ainsi qu’au développement d’outils logiciels pour l’audibilité des systèmes algorithmiques et à la promotion des bonnes pratiques.

Qui dit transparence dit explicabilité et traçabilité des décisions. On en est loin dans le cas de l’algorithme Admission post-bac (APB)… Comment l’analysez-vous ?
L’algorithme de l’Admission post-bac est un exemple emblématique du débat autour de la transparence des algorithmes dans la sphère publique et ayant un impact sur l’avenir des jeunes étudiants et des citoyens. Il a cristallisé beaucoup de critiques du fait de son manque de transparence, qui se décline sous différentes formes, par exemple par la non-explicabilité des décisions prises par l’algorithme et par son manque de jouabilité. La jouabilité consiste à pouvoir faire dérouler le processus plusieurs fois (rentrer des choix et des données pour tester le résultat final) sans pour autant aboutir à une décision d’affectation. Elle permet une meilleure appréhension de son comportement par l’utilisateur final et ainsi une meilleure appropriation et exploitation au bout du compte. APB est un algorithme qui a été longtemps utilisé au-delà de ce pourquoi il a été conçu au départ, avec des modifications structurelles successives. Il est devenu si complexe et non intelligible que son déploiement n’apporte plus la certitude d’une conformité aux objectifs visés par ses concepteurs. De ce fait, cette situation n’est pas conforme avec la loi pour une République numérique. La décision récente du ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation, annonçant la refonte de l’état actuel d’APB, est judicieuse à plusieurs titres. Outre une meilleure intelligibilité de ses prises de décisions, la modernisation d’un service logiciel de l’État qui impacte fortement la vie des citoyens est plus que nécessaire. Il n’est pas impossible que cette modernisation logicielle s’accompagne d’une prise en compte des orientations politiques du moment. La transparence consiste alors à expliciter ces choix politiques encapsulés dans les nouveaux algorithmes qui devraient être équitables-par-construction et « auditables »-par-construction.

Nos politiques publiques vont-elles être de plus en plus définies par des algorithmes ?
Les algorithmes apportent une aide incontestable pour le traitement et l’analyse de l’information de plus en plus numérisée dans la sphère publique. Il est évident que les politiques publiques ne seront pas une exception à l’usage des algorithmes dans l’aide à la décision, que cela soit issu de services de l’État directement ou de ses prestataires privés.

Quels bénéfices peut-on en attendre en termes d’efficience de l’action publique ?
Les services numériques définis et gérés par les algorithmes permettent l’automatisation du traitement de l’information au-delà de ce que l’humain serait capable de gérer dans un temps comparable, ce qui est une véritable opportunité en termes de gain de performance et de fait, d’efficacité de l’exécution de l’action publique. Cependant, il faut une vigilance accrue de la part des humains quant aux conditions d’utilisation de ces algorithmes. Ainsi en va-t-il de leur paramétrage et des données utilisées à diverses étapes de leur cycle de vie. L’efficience globale de l’ensemble sera le fruit de la maîtrise humaine du déploiement de ces algorithmes en veillant à ce que leur exécution remplisse bien les attentes humaines.

Restera-t-il toujours un humain décideur ?
C’est toujours une question de choix humain en fonction de la criticité du cas d’usage [probabilité d’un accident grave, ndlr] : laisser ou non aux algorithmes le rôle de prescripteurs dans les décisions à prendre. Il faut donc bien cadrer le circuit de décision humaine.

Quel regard portez-vous sur les algorithmes de police et de justice prédictives, actuellement les plus avancés au sein de notre administration ?
La justice prédictive est un exemple type d’une situation critique du fait de l’impact important d’une décision algorithmique – non humaine – sur la vie des personnes et sur la société en général. Même si statistiquement les algorithmes se trompent peu, supposons 1 % des cas (en faux positifs ou en faux négatifs), c’est toujours de trop quand il s’agit de la liberté des personnes et de leurs droits civiques.

De mon point de vue, il est essentiel que les algorithmes puissent apporter une aide dans ce contexte, mais ils ne doivent en aucun cas être prescripteurs et intrusifs. Outre les possibles biais des données et les confusions entre la corrélation et la causalité, les algorithmes prédictifs ont tendance à perpétuer les données du passé. La possibilité qu’une personne puisse changer de comportement ou de fréquentation ou prenne de nouvelles initiatives n’est pas prévue par certains algorithmes. Le côté imprévisible de l’humain sera mal pris en compte. En gros, octroyer des secondes chances pour les individus ne sera pas le point fort des décisions algorithmiques.

L’Inria a aussi l’ambition de mettre en place des parcours de formation interdisciplinaires au sein d’un Institut de convergence. Dans quel but ?
L’institut de convergence DATAIA (Données, intelligence artificielle et société) vient d’être lancé dans le cadre des programmes d’investissements d’avenir. Il a des objectifs de recherche interdisciplinaires en sciences des données pour renforcer la confiance numérique et l’efficience algorithmique, mais aussi des objectifs de formation. Dans ce cadre, nous avons l’objectif de mettre en place des parcours en sciences humaines pour les data scientists pour la prise de conscience des dimensions juridiques, économiques, sociales et éthiques. Avec la loi pour une République numérique, un data scientist engage la responsabilité de son entreprise, qu’elle soit dans le secteur public ou privé.

Quels sont les besoins en termes de formation des agents publics à ces nouveaux enjeux ?
La transformation numérique de nos administrations publiques passe par la nécessité de l’évolution de la formation des agents de l’État aux enjeux des systèmes algorithmiques de traitement et de gestion de l’information jusqu’à l’aide à la décision. Les agents publics ne peuvent pas se contenter d’appuyer sur un bouton sans comprendre les enjeux et les risques – sans pour autant devenir spécialistes. L’humain restera toujours responsable.

Propos recueillis par Soazig Le Nevé