Du trait rouge à l’algorithme : Quand la discrimination devient invisible

Comprendre le concept de Redlining bancaire

Dans les années 1930 aux États-Unis, certaines cartes urbaines ont matérialisé une frontière dont les conséquences allaient se faire sentir pendant des décennies. Des quartiers considérés comme présentant un risque élevé pour l’investissement immobilier étaient identifiés et classés, dans un contexte où la composition raciale des quartiers participait aux pratiques discriminatoires d’accès au logement et au crédit. Cette histoire est aujourd’hui associée au terme « redlining » : une forme de discrimination territoriale qui a contribué à priver des populations, notamment afro-américaines, d’un accès équitable au financement immobilier.

Le mécanisme était particulièrement puissant parce qu’il ne concernait pas seulement l’obtention d’un prêt. Sans accès au crédit immobilier dans les mêmes conditions que le reste de la population, il devenait plus difficile d’acheter un logement, de constituer un patrimoine et de le transmettre aux générations suivantes. Le redlining illustre ainsi une réalité essentielle : une discrimination dans l’accès à un service peut produire des conséquences économiques et sociales bien au-delà de la transaction initiale.

Avec le temps, les formes de discrimination ont évolué. À partir des années 1990 et surtout dans les années précédant la crise financière de 2008, une autre expression s’est imposée : le « reverse redlining ». Cette fois, il ne s’agissait plus nécessairement d’exclure certaines populations du crédit, mais de leur proposer des produits plus coûteux ou moins favorables. Le Département américain de la Justice a ainsi reproché à Wells Fargo d’avoir orienté des emprunteurs afro-américains et hispaniques qualifiés vers des crédits subprime ou de leur avoir facturé des taux et frais supérieurs à ceux appliqués à des emprunteurs blancs présentant des profils comparables. Un accord conclu en 2012 prévoyait plus de 175 millions de dollars de mesures de réparation et d’assistance. 

L’affaire Countrywide est encore plus significative par son ampleur. En 2011, le Département de la Justice a conclu un accord de 335 millions de dollars concernant des allégations de discrimination ayant touché plus de 200 000 emprunteurs afro-américains et hispaniques entre 2004 et 2008. Countrywide était alors devenue une filiale de Bank of America. Selon les autorités américaines, des emprunteurs qualifiés avaient notamment payé davantage ou avaient été orientés vers des prêts subprime alors que leur profil aurait permis d’obtenir de meilleures conditions. 

Et si demain la ligne rouge était tracée par un algorithme ?

Aujourd’hui, la question prend une nouvelle dimension avec la numérisation du crédit et le recours croissant aux modèles algorithmiques. Sur le papier, l’idée paraît séduisante : remplacer une partie de l’appréciation humaine par l’analyse de données afin de rendre la décision plus rapide, plus cohérente et potentiellement moins subjective. Mais automatiser une décision ne la rend pas automatiquement neutre.

Un algorithme n’a pas nécessairement besoin de connaître explicitement l’origine ethnique d’une personne pour produire des résultats qui lui sont corrélés. Des informations apparemment neutres peuvent parfois fonctionner comme des variables de substitution, ou proxies. Le code postal en est l’exemple classique : dans un environnement résidentiel historiquement ségrégué, la localisation peut être statistiquement liée à certaines caractéristiques démographiques. Le CFPB américain utilise d’ailleurs lui-même des méthodes fondées sur des données indirectes pour estimer la race et l’origine ethnique lorsqu’il analyse d’éventuelles discriminations dans certains marchés du crédit, ce qui montre concrètement la capacité de variables indirectes à fournir des informations démographiques. 

Le danger du redlining numérique ne réside donc pas nécessairement dans un algorithme auquel on aurait explicitement demandé de discriminer. Il peut apparaître lorsque les données utilisées, les corrélations retenues ou les résultats historiques sur lesquels un modèle apprend reproduisent des inégalités existantes. La discrimination devient alors beaucoup plus difficile à percevoir : il n’y a plus de ligne rouge dessinée sur une carte, plus nécessairement de conseiller formulant directement un préjugé, mais une décision produite par un système complexe qui peut être difficile à expliquer au consommateur lui-même.

C’est précisément là que le sujet rejoint la démarche All Welcome. L’égalité dans l’accès aux biens et aux services ne concerne plus seulement la manière dont une personne est accueillie dans un magasin, un hôtel, une banque ou une agence. Elle concerne également les systèmes numériques qui interviennent de plus en plus dans la relation avec le client : sélection, tarification, crédit, assurance, recommandation ou contrôle.

L’histoire du redlining nous enseigne finalement quelque chose de très contemporain. Une discrimination ne disparaît pas nécessairement lorsque l’on supprime la personne qui prend la décision. Elle peut aussi changer de forme. Hier, une ligne rouge pouvait être dessinée sur une carte. Aujourd’hui, elle peut être dissimulée dans une corrélation statistique, une donnée apparemment anodine ou une règle de décision automatisée.

Le véritable enjeu n’est donc pas seulement de disposer de technologies plus performantes. Il est de s’assurer que leur performance reste compatible avec un principe fondamental : l’égalité d’accès aux biens et aux services doit également s’appliquer lorsque la décision est prise, ou assistée, par une machine.