Dons emmaüs

A Livr'Ouvert

171b bd Voltaire, 75011 Paris.
Latitute/longitude: 46.75984 1.738281

Tel: 09.52.65.38.67

Le lundi de 12h à 19h et du mardi au samedi de 10h à 19h30.

Mail: contact@alivrouvert.fr

Verbatims et recommandations...

ALGORITHMES - Les ADM (Arme de destruction mathématique), bombe à retardement de Cathy O’NEIL - Ed. Les Arènes

Émetteur du verbatim : François C.

Algorithmes : la bombe à retardementLes mécanismes d’une bombe Qu’est-ce qu’un modèle?

C’est de cette manière que les modèles dignes de confiance fonctionnent. Ils entretiennent un va-et-vient permanent avec les réalités de tout ordre qu’ils essaient de comprendre ou de prédire. Quand les conditions changent, les modèles doivent eux aussi changer.

Lorsqu’on crée un modèle, il faut tout d’abord choisir les données que l’on juge pertinentes pour l’alimenter…Les angles morts d’un modèle reflètent les jugements et les priorités de ses concepteurs…Les modèles, malgré leur réputation d’impartialité, sont le reflet d’une idéologie et d’objectifs bien précis.

Les modèles opaques et invisibles sont légion, tandis que les modèles transparents font figure d’exception.

Les trois éléments d’une ADM : opacité, échelle et nocivité.

Sous le choc Comment j’ai perdu mes illusions

Le modèle de risque associé aux créances hypothécaires était une ADM. Les banques étaient bien conscientes que certains de ces emprunts n’avaient aucune chance d’être remboursés. Mais elles s’accrochaient à deux hypothèses fausses, qui maintenaient leur confiance dans le système.

Au cours des mois suivants, la catastrophe finit par toucher le grand public. C’est là que chacun s’aperçut qu’il y avait des gens derrière tous ces algorithmes…La souffrance humaine dissimulée jusque-là derrière les chiffres, les feuilles de calcul et les scores de risque, devint palpable.

Le refus d’admettre le risque imprègne en profondeur le monde de la finance.

Je décelais en réalité toutes sortes de parallèles entre la finance et le Big Data…Dans ces deux secteurs, le monde réel, avec tout son désordre, est mis à l’écart. La tendance consiste à remplacer les gens par des flux de données, et à en faire des acheteurs, des électeurs ou des employés plus efficaces afin de remplir de manière optimale un objectif quelconque.

Un faux sentiment de sécurité conduisait à la mise en œuvre généralisée de modèles imparfaits, à des définitions intéressées du succès, et au développement des boucles de rétroaction. Ceux qui s’y opposaient étaient considérés comme des réactionnaires nostalgiques.

La course à l’armement Entrer à l’université

Toute formule présente en théorie un caractère parfaitement inoffensif. Mais si elle acquiert la dimension d’une norme nationale ou mondiale, elle crée alors sa propre économie, dystopique et dénaturée. C’est ce qui s’est passé dans l’enseignement supérieur.

En devenant une référence nationale, U.S. News créa une boucle de rétroaction particulièrement néfaste. Le problème venait du fait que le classement s’auto-renforçait.

Leur spectaculaire échec résulte plutôt de ce que les journalistes d’U.S. News ont choisi de ne pas prendre en compte : les frais de scolarité. Dans leur modèle, le financement des études a été laissé de côté…Ce qui nous amène à une question cruciale : quel objectif l’auteur d’un modèle poursuit-il ?

N’importe quel système de classement reste exposé aux manipulations. Et quand cela se produit, il engendre alors de nouvelles boucles de rétroaction, en même temps qu’une foule de conséquences indésirables.

Machine de propagande La publicité en ligne

On nous classe, on nous catégorise, on nous note au travers de centaines de modèles, en fonction des préférences et des schémas de comportement que nous dévoilons.

Partout où les besoins et l’ignorance se combinent, des publicités prédatrices ont toutes les chances d’apparaître.

Parce que la vulnérabilité vaut de l’or…L’ignorance du client représente bien entendu une pièce cruciale du puzzle…Une fois cette ignorance de la cible établie, la clé pour les recruteurs consiste à repérer les gens les plus vulnérables et à exploiter à leurs dépens leurs informations personnelles.

Le Web offre aux annonceurs le plus grand laboratoire de tous les temps pour l’étude des consommateurs et la production de contacts…Et de plus en plus, les machines qui traitent et analysent l’information passent toutes seules nos données au crible, à la recherche de nos habitudes et de nos espoirs, de nos peurs et de nos désirs.

Quelque part entre 2008 et 2015, plus ou moins, les compétences linguistiques des algorithmes ont progressé de la première année de maternelle au niveau collège, et bien davantage encore pour certaines applications.

Aux Etats-Unis, les 40% les plus pauvres sont aux abois…20% des gens (le quintile supérieur) contrôlent 89% de la richesse nationale, tandis qu’en bas de l’échelle 40% n’en possèdent rien.

Victimes civiles La justice à l’heure du Big Data

Predpol (modèle de prédiction criminelle) ne se concentre pas sur l’individu mais sur la localisation géographique. Le type, le lieu, le date et l’heure de chaque crime constituent les données essentielles à partir desquelles il travaille.

La répression de la criminalité des cols blancs réclamerait des personnels dotés de compétences et d’outils différents…La police opère des choix et décide où porter son attention. Aujourd’hui, elle se focalise quasi exclusivement sur les pauvres…Même avec les meilleures intentions du monde, PredPol procure aux services de police la faculté de cibler les pauvres, d’en interpeller davantage, d’arrêter une partie d’entre eux et d’en envoyer un certain nombre en prison.

L’équité n’est donc pas prise en compte dans les ADM, et la conséquence en est une production massive et industrielle d’iniquité. Si l’on assimile une ADM à une usine, l’iniquité correspond à la suie noire que vomissent ses cheminées. C’est une émission toxique.

Inapte au service Trouver un emploi

Ce qui nous intéresse plus particulièrement ici, c’est la manière dont des systèmes automatiques nous jugent lorsque nous cherchons un emploi, et sur les critères qu’ils évaluent.

Des tests de personnalité sont aujourd’hui effectués sur 60 à 70% des travailleurs potentiels aux Etats-Unis, soit 30 à 40% de plus qu’il y a cinq ans.

On ne nous dit pas ce que les tests recherchent. Le processus est totalement opaque. Pire encore, une fois que des experts techniques ont calibré le modèle, celui-ci ne reçoit que très peu de remontées d’informations.

Nous avons vu à maintes reprises que les modèles mathématiques pouvaient passer au crible quantité de données afin de repérer les individus susceptibles de faire face à d’importants défis, liés aussi bien à la criminalité qu’à la pauvreté ou à l’éducation. Il appartient à la société, soit d’exploiter ces renseignements pour les rejeter et les punir, soit de leur tendre la main et de leur procurer les ressources dont ils ont besoin. La portée et l’efficience qui confèrent aux ADM un caractère si néfaste peuvent aussi servir à aider les gens. Tout dépend de l’objectif choisi.

L’angoisse au quotidien Sur le lieu de travail

L’emploi…où des ADM focalisées sur l’efficience traitent les travailleurs comme les simples rouages d’une machine.

Les logiciels de planning constituent à mes yeux l’une des ADM les plus épouvantables. Elle…profite d’individus qui ont déjà du mal à joindre les deux bouts. Elle s’avère de surcroît totalement opaque. Les travailleurs n’ont souvent aucune idée du moment où ils seront appelés à leur poste. C’est un programme arbitraire qui le leur ordonne.

Le vrai coupable, dans beaucoup de cas, c’est la pauvreté, qui amène les travailleurs à accepter des emplois aux horaires erratiques –et les modèles de planification, qui mettent encore plus de pression sur des familles déjà en difficulté.

L’interprétation erronée des statistiques traverse en réalité toute l’histoire de l’évaluation des enseignants.

Une fois qu’ils sauront les identifier et qu’ils auront compris leurs travers statistiques, les gens exigeront des évaluations plus justes vis-à-vis à la fois des élèves et des enseignants. Si les tests ont en revanche comme objectif de trouver un bouc émissaire et d’intimider les travailleurs, une ADM débitant des scores dénués de sens obtient alors comme on l’a vu la note maximale.

Dommages collatéraux Obtenir un crédit

Statisticiens et mathématiciens nous mesurent aujourd’hui de toutes les manières imaginables en agrégeant un vaste fatras de données…Beaucoup de leurs modèles pseudo-scientifiques s’efforcent de prédire notre solvabilité, en attribuant à chacun ce qu’on appelle des e-scores…Ces derniers sont arbitraires, obscurs, non réglementés et souvent injustes –en bref, ce sont des ADM.

À de rares exceptions près, des concepts comme ceux de justice et de transparence n’ont pas leur place dans ces algorithmes.

Dans l’univers dégradé des e-scores, les perdants n’ont guère de recours pour se plaindre, et encore moins pour rectifier l’erreur. Dans le royaume des ADM, ils constituent des dommages collatéraux.

Près de la moitié des employeurs américains filtrent les recrues potentielles en examinant leur rapport de crédit.

L’utilisation des scores de crédit en matière d’embauche et de promotion crée un cercle vicieux dangereux en termes de pauvreté…C’est une boucle de rétroaction qui entraîne les malchanceux pris au piège dans une spirale d’échec.

Comme le disent de longue date les professionnels du traitement des données : « garbage in, garbage out »- si ce qui entre est faux, ce qui sort sera faux.

Les pauvres sont censés le rester à jamais et se voient traités en conséquence –on leur refuse des opportunités, ils sont plus souvent jetés en prison, et se font escroquer en matière de prêts et de services…Le monde est dominé par des systèmes automatiques qui se nourrissent à la chaîne de dossiers truffés de défauts. Le besoin de contexte, de bon sens et d’équité que seuls les humains peuvent apporter, se fait urgemment sentir.

Avec le développement inexorable des e-scores, nous sommes regroupés et catégorisés sur la base de formules secrètes, reposant pour certaines sur des portefeuilles de données gorgés d’erreurs. On nous envisage non comme des individus mais comme les membres de différentes tribus, et cette classification nous colle à la peau.

Zone à risque Souscrire à une assurance

Le mouvement vers l’individualisation, comme nous le verrons, est encore embryonnaire. Mais les assureurs exploitent d’ores et déjà les données pour nous répartir en « tribus » de plus petite taille, et nous proposer divers produits et services à des tarifs variables.

Si un assureur possède un système qui lui permet d’obtenir d’un conducteur à l’historique vierge 1552 dollars de plus par an, pourquoi s’en priver ? les victimes de son ADM, comme on l’a vu ailleurs, ont de grandes chances d’être pauvres, de manquer d’instruction et d’être issues pour un bon nombre de l’immigration.

La Consumer Federal Association (CFA) a dénombré chez Allstate 100 000 micro-segments de tarification, définis sur la base du montant maximum que chaque groupe pourrait accepter de payer.

Dans l’univers des ADM, le respect de la vie privée représente de plus en plus un luxe que seuls les riches peuvent se permettre.

Des océans de données comportementales iront directement nourrir dans les années à venir les systèmes d’intelligence artificielle. Et ces systèmes demeureront aux yeux de la population de vraies boîtes noires.

Près d’un dollar sur cinq que gagne un américain alimente la vaste industrie de la santé…Les scores de santé, prochaine étape aussi naturelle qu’inquiétante.

Le citoyen pour cible La vie civique

Bien que Facebook puisse donner l’impression d’une place de village moderne, c’est l’entreprise qui détermine, en fonction de ses propres intérêts, ce que les gens voient et apprennent sur les pages de son réseau social.

Ce qu’ils ont démontré, c’est l’immense pouvoir que possède Facebook pour peser sur ce que l’on apprend, sur ce que l’on ressent et sur le fait que l’on aille ou non voter.

Les algotithmes de ces géants d’Internet, d’une importance vitale, constituent de véritables secrets industriels. Ils mènent leur activité à l’abri des regards.

Les groupes partisans identifient les électeurs vulnérables et en font la cible de campagnes alarmistes, attisant leurs craintes quant à la sécurité de leurs enfants ou la montée de l’immigration clandestine. Mais ils peuvent dans le même temps dissimuler ces publicités aux électeurs qui risquent d’être rebutés (voire écoeurés) par de tels messages.

Cette science en plein essor du micro-ciblage, avec ses profils et ses prédictions, entre impeccablement dans notre sinistre collection d’ADM. Elle agit sur une vaste échelle, se montre opaque et ne rend compte de rien. Elle protège les hommes politiques et les incite à endosser en fonction des gens de multiples visages.

Conclusion

Les ADM promettent efficience et équité mais pervertissent en réalité l’enseignement supérieur, aggravent l’endettement, favorisent une incarcération massive, oppriment en toutes occasions les plus pauvres, et sapent la démocratie…Le problème, c’est qu’elles se nourrissent les unes des autres.