Évaluer les impacts de l’IA sur les droits fondamentaux

Si un système d’IA prédisait que votre enfant de 11 ans risque d’abandonner l’école dans les trois prochaines années, comment réagiriez-vous? Si, suite à cette prédiction, on plaçait votre enfant dans une classe de première secondaire qui rassemble tous les autres petits décrocheurs en puissance, comment réagiriez-vous? Et si vous appreniez que cette prédiction a été faite en s’appuyant, entre autres, sur des facteurs tels que la distance qui sépare votre lieu de résidence de l’école de votre enfant, sur le fait que votre enfant fréquente ou non le service de garde, ou sur le nombre de fois que vous avez déménagé au cours des dernières années…

Alors, comment réagiriez-vous?

La question vaut la peine que l’on s’y attarde, car elle n’est pas hypothétique. Un tel système d’intelligence artificielle est déjà utilisé dans les écoles du Centre de services scolaire Val-des-Cerfs et son déploiement à grande échelle à travers toute la province est un projet phare du gouvernement qui souhaite en faire « le premier grand projet en intelligence artificielle du gouvernement du Québec ».

Les objectifs poursuivis par le projet sont nobles.

Qui peut s’opposer à la lutte contre le décrochage scolaire? Les moyens mobilisés ne sont pas inintéressants : l’intelligence artificielle est un outil qui peut avoir de véritables impacts positifs dans le domaine de l’éducation.

Là où le bât blesse, c’est que le Québec manque d’outils pour limiter les impacts négatifs de ce genre de projets.

L’insuffisance de la protection du droit à la vie privée

Évidemment, le Québec n’est pas un espace de non-droit ou un Far West législatif. Il existe des balises légales pour prévenir les dérapages. Seulement, ces balises sont insuffisantes.

Le cas de l’algorithme du Centre de services scolaires Val-des-Cerfs constitue un bon exemple. La Commission d’accès à l’information (CAI) — le chien de garde québécois en matière de protection des renseignements personnels — a récemment rendu une décision quant à ce système d’intelligence artificielle.

Les conclusions portent principalement sur deux éléments : premièrement, le manquement à l’obligation d’informer les parents que des renseignements personnels concernant leur enfant ont été traités et de leur expliquer de quelle manière et pour quels objectifs ces renseignements ont été traités. Puis, deuxièmement, les lacunes relatives à la sécurité de ces renseignements, notamment en ce qui a trait aux modalités entourant leur destruction.

Informer les parents, et supprimer les renseignements après qu’ils aient été traités? 

C’est un peu… court, non?  

Le caractère relativement limité de la décision s’explique notamment par le fait que le Québec soit actuellement en pleine période de réforme en matière de protection des renseignements personnels. Les dispositions que la CAI devait appliquer ne sont plus parfaitement au goût du jour.

Or, la CAI ne s’est pas limitée au droit en vigueur.

Elle s’est permis d’ajouter une recommandation additionnelle à sa décision : pour les prochaines étapes du projet, le Centre de services scolaires devrait conduire une évaluation des facteurs relatifs à la vie privée pour prévenir, ou à tout le moins mitiger, les impacts négatifs qui pourraient découler du projet.

Les évaluations des facteurs relatifs à la vie privée (EFVP), comme leur nom l’indique, s’intéressent principalement aux risques d’atteinte à la vie privée :

• Vols d’identités et de fraude
• Dommages à la réputation
• Harcèlement et autres dangers pour la vie et la sécurité des personnes
• Sollicitation non désirée

Mais lorsque l’on parle d’algorithmes visant à prédire le décrochage scolaire, ces risques relatifs à la vie privée ne sont pas nécessairement les risques les plus inquiétants. Au-delà de la fraude, du harcèlement et de la sollicitation non désirée, les risques associés à d’autres droits fondamentaux devraient aussi être étudiés.

L’urgence d’agir quant au droit à l’égalité

Parmi ces droits auxquels il faut s’intéresser, le droit à l’égalité est probablement celui quant auquel il est le plus pressant d’agir.

Pour illustrer l’urgence, permettez un rapide détour vers le Royaume-Uni. En 2020, au plus fort de la pandémie, alors que les examens de classement pour les admissions universitaires avaient été annulés, le gouvernement britannique a demandé aux enseignants de prédire les résultats que leurs étudiants auraient obtenus si les examens avaient eu lieu.

Ces résultats étaient ensuite soumis à un algorithme qui avait pour fonction de standardiser les résultats afin d’éviter que les enseignants favorisent indûment leurs étudiants en leur accordant des notes qu’ils ne méritaient pas. Les résultats pondérés par l’algorithme étaient ensuite utilisés pour déterminer qui pouvait accéder à quelle université.

Le bémol, cependant, c’est que l’algorithme avait tendance à diminuer les notes des étudiants issus d’écoles publiques dans une plus grande proportion que celles de leurs collègues étudiant dans des collèges privés. Pour un élève brillant étudiant dans une école défavorisée, il pouvait s’avérer impossible d’obtenir des résultats exceptionnels puisqu’aucun autre élève ayant étudié au sein de la même école au cours des trois dernières années n’y était parvenu.

Certains étudiants pouvaient donc voir leurs opportunités d’avenir être significativement affectées. Cela a suscité une vive levée de boucliers qui a forcé le gouvernement britannique à faire volte-face et renoncer à l’utilisation de l’algorithme.

Le projet IA et persévérance scolaire du gouvernement québécois n’est pas à l’abri de tels scandales.

Plusieurs études démontrent que les algorithmes de prédiction du décrochage scolaire ont tendance à être biaisés—ils surévaluent les chances de décrochage de certaines populations et ils sous-évaluent les chances d’abandon de certaines autres populations.

Si ces biais entraînaient des distinctions fondées sur un motif prohibé : la race, le genre, la condition sociale, le handicap, par exemple, et que ces distinctions entraînaient des effets préjudiciables pour ceux qui font l’objet de ces distinctions, il s’agirait de discrimination — chose qui, on le sait bien, est interdite par les Chartes québécoise et canadienne.

Si un algorithme de prédiction du décrochage déterminait qu’une jeune fille asiatique n’a pas droit à des services d’aide aux devoirs en raison de son genre et de son origine ethnique, cela serait vraisemblablement considéré comme une violation du droit à l’égalité. Tout comme le fait qu’un algorithme classe un jeune garçon latino-américain dans un groupe d’élèves en difficulté en raison de ses caractéristiques sociodémographiques.

Pour s’assurer que de tels dérapages ne surviennent pas, les développeurs d’IA auraient besoin d’outils pour les aider à anticiper et mitiger les risques de discrimination qui découlent de leur système.

Dans le cas du Centre de Services scolaires Val-des-Cerfs, par exemple, il aurait été intéressant que la CAI puisse recommander une évaluation d’impacts plus englobante, qui aurait pris en compte le droit à l’égalité et à la non-discrimination, plutôt que de simplement se concentrer sur le droit à la vie privée. 

Ce genre de modèle existe. Vincent Gautrais et Nicolas Aubin ont développé un outil qui reprend toutes les composantes d’une EFVP, et qui y ajoute une section entière sur les risques de discrimination algorithmique. On y retrouve entre autres des pistes de solution concrètes pour prévenir la discrimination, telles que :

• Se doter d’une définition explicite de la discrimination
• S’assurer de la qualité des données d’entraînement
• Se doter d’un processus continu d’évaluation et de recalibration du système d’intelligence artificielle
• S’assurer que le système est utilisé pour les finalités pour lesquelles il a été conçu

En vue de l’entrée en vigueur de l’obligation de conduire des EFVP prévue en septembre 2023, la CAI doit mettre à jour son guide d’accompagnement pour réaliser une évaluation des facteurs relatifs à la vie privée afin qu’il reflète les nouvelles réalités législatives découlant de la loi 25.

Il serait important qu’elle profite de l’occasion pour ajouter une section sur la prévention des biais et de la discrimination algorithmique inspirée, entre autres, du travail de Gautrais et Aubin. Le volet biais et discrimination de cette nouvelle EVFP pourrait s’ancrer dans le principe d’exactitude des renseignements, qui est un principe cardinal du droit de la protection des renseignements personnels, afin de s’assurer que la CAI n’outrepasse pas ses pouvoirs.

Cette solution relativement simple à mettre en œuvre à court terme, qui bénéficie d’ailleurs du soutien de plusieurs chercheurs, permettrait de prévenir des dérapages similaires à ceux vécus par le gouvernement britannique avec son algorithme de gestion des examens d’admission universitaires.

L’importance de ne pas négliger les autres droits fondamentaux

Une fois cela fait, cependant, tout ne sera pas gagné. La protection adéquate du droit à l’égalité et du droit à la vie privée n’est pas l’objectif ultime. Il s’agit d’un jalon important, certes, mais d’un simple jalon tout de même. La protection des droits fondamentaux à l’ère de l’IA devrait aller plus loin.

La liberté d’expression, la liberté d’opinion, la liberté d’association, la liberté de réunion pacifique, le droit à la santé, le droit à l’éducation… voilà toute une gamme de droits fondamentaux qui peuvent être affectés, de manière positive ou négative, par les systèmes algorithmiques.

Nous croyons que le domaine de l’IA devrait ouvrir ses horizons et s’intéresser aussi à ces autres droits fondamentaux. Nous avons défendu cette thèse plus longuement dans un autre article paru récemment. Notre objectif ici n’est pas de ressasser cette même idée, nous souhaitons plutôt proposer une piste de solution : pour promouvoir le développement responsable de l’intelligence artificielle, il faudrait développer des évaluations des facteurs relatifs aux droits fondamentaux (EFDF) — des outils qui permettent d’anticiper et de mitiger les impacts négatifs de l’IA sur toute la gamme de droits fondamentaux protégés par les Chartes, plutôt que de se limiter simplement au droit à la vie privée comme on le fait actuellement avec les EFVP.

L’engouement pour ce genre d’outils plus englobants commence à se faire sentir sur la scène internationale. De nombreux centres de recherche militent en faveur du développement de « human rights impacts assessment » spécifiquement conçu pour le domaine de l’IA, la Commission européenne réfléchit à l’idée d’imposer de telles évaluations en vertu de son projet de Règlement sur l’IA, et depuis l’an dernier, les organisations gouvernementales qui utilisent ou développent de l’IA aux Pays-Bas doivent évaluer les impacts de leur projet sur les droits fondamentaux également.

Pour conduire ces évaluations, les organisations gouvernementales néerlandaises doivent utiliser un outil développé par des chercheurs de l’Université d’Utrecht. L’outil s’intéresse évidemment aux impacts de l’IA sur le droit à la vie privée et le droit à l’égalité—et il le fait de manière fort intéressante, d’ailleurs, en posant des questions beaucoup plus étoffées que l’EFVP de la CAI — mais il ne se limite pas qu’à ces deux droits.

L’outil met en lumière plus d’une centaine de droits fondamentaux qui peuvent être affectés par l’IA et il propose une série d’une vingtaine de mesures pour prévenir ou mitiger ces atteintes. Il propose également un test pour déterminer si un système d’intelligence artificielle est suffisamment respectueux des droits fondamentaux pour être déployé.

Le test ressemble plus ou moins à ceci :

• Est-ce que l’algorithme porte atteinte à des droits fondamentaux, et si oui, quelle est la gravité de l’atteinte? 
• Quels sont les objectifs qui justifient l’usage de l’algorithme? Est-ce que l’algorithme permettra véritablement d’atteindre ces objectifs?
• Existe-t-il des solutions non algorithmiques qui permettraient d’atteindre l’objectif aussi efficacement?
• Est-ce que les effets bénéfiques de l’usage de l’algorithme sont plus importants que ses impacts négatifs en matière de droits fondamentaux?

Le test ne devrait pas trop déstabiliser les juristes québécois, les questions sont étonnamment similaires à celles que l’on se pose au Canada pour déterminer si une atteinte aux droits fondamentaux est justifiée. Malgré cette parenté, toutefois, l’EFDF néerlandaise demeure un outil développé dans une autre juridiction qui reflète une conception européenne des droits fondamentaux qui diffère de la nôtre. 

Adapter l’outil aux réalités québécoises et éventuellement canadiennes nécessiterait l’implication de juristes, d’informaticiens, de chercheurs en sciences sociales, ainsi que de membres de la société civile — un projet d’envergure, sans aucun doute. Mais si le Québec souhaite se lancer dans de grands projets d’intelligence artificielle, et le faire de manière responsable, il s’agit de la voie à suivre.

Dans le contexte de l’algorithme de prévention du décrochage scolaire du gouvernement québécois, par exemple, une telle évaluation pourrait permettre de songer à des mesures pour s’assurer que le système d’intelligence artificielle ne soit pas détourné de ses objectifs et qu’il ne soit pas utilisé à des fins qui ne sont pas souhaitables. On peut penser à l’utilisation de l’algorithme pour mesurer les performances des enseignants et les surveiller d’une manière qui porte atteinte au droit à des conditions de travail justes et raisonnables protégé par l’article 46 de la Charte québécoise, par exemple. 

L’évaluation pourrait aussi aider à déterminer si les bénéfices de prendre en compte le lieu de résidence d’un élève pour prédire ses chances de succès à l’école sont suffisants pour risquer de porter atteinte au droit à la vie privée et au droit à l’égalité, évidemment, mais également au droit à la liberté, prévu à l’article 7 de la Charte canadienne, qui protège le droit de choisir son lieu de résidence.

Enfin, une évaluation quant aux droit fondamentaux permettrait aussi de s’arrêter pour réfléchir au bien-fondé de l’utilisation de l’IA pour prédire les chances de décrochage scolaire d’enfants d’âge primaire. Après tout, ce n’est pas tout ce qui est techniquement possible qui est socialement souhaitable. D’ailleurs, l’IA responsable requiert que nous nous posions toujours la question préalable suivante : avons-nous besoin de l’IA pour répondre à ce problème?

Les algorithmes sont-ils beaucoup plus performants que les êtres humains lorsqu’il s’agit de prédire les chances de décrochage? Un gain en efficacité est-il suffisant pour justifier les potentiels impacts négatifs en matière de droits fondamentaux? Comment doit-on pondérer les avantages et les inconvénients?

Voilà des questions auxquelles les juristes sont habitués de répondre. Ce qu’il nous reste à faire, maintenant, c’est de mettre cette expertise au service du développement responsable de l’intelligence artificielle. Et cela passe par le développement d’outils d’évaluation des facteurs relatifs aux droits fondamentaux spécialement adaptés aux réalités québécoises.