Des algorhitmes gèrent la ville de Washington et peut-être la votre.

[duJambon]

Washington, DC, est le port d’attache du gouvernement le plus puissant du monde. Il abrite également 690 000 personnes et 29 algorithmes obscurs qui façonnent leur vie. Les agences municipales utilisent l’automatisation pour filtrer les demandeurs de logement, prédire la récidive criminelle, identifier la fraude à l’aide alimentaire, déterminer si un lycéen est susceptible d’abandonner, éclairer les décisions de détermination de la peine pour les jeunes et bien d’autres choses.

Cet instantané de la vie urbaine semi-automatisée provient d’ un nouveau rapport de l’Electronic Privacy Information Center (EPIC). L’organisation à but non lucratif a passé 14 mois à enquêter sur l’utilisation des algorithmes par la ville et a découvert qu’ils étaient utilisés dans 20 agences, dont plus d’un tiers déployés dans la police ou la justice pénale. Pour de nombreux systèmes, les agences municipales ne fourniraient pas tous les détails sur le fonctionnement ou l’utilisation de leur technologie. L’équipe du projet a conclu que la ville utilise probablement encore plus d’algorithmes qu’elle n’a pas été en mesure de découvrir.

Les résultats sont notables au-delà de Washington, car ils ajoutent à la preuve que de nombreuses villes ont discrètement mis en œuvre des algorithmes bureaucratiques dans leurs départements, où ils peuvent contribuer aux décisions qui affectent la vie des citoyens.

Les agences gouvernementales se tournent souvent vers l’automatisation dans l’espoir d’ajouter de l’efficacité ou de l’objectivité aux processus bureaucratiques, mais il est souvent difficile pour les citoyens de savoir qu’ils sont au travail, et certains systèmes se sont avérés discriminatoires et conduisent à des décisions qui ruinent des vies humaines. Dans le Michigan, un algorithme de détection de fraude au chômage avec un taux d’erreur de 93 % a causé 40 000 fausses allégations de fraude . Une analyse réalisée en 2020 par l’Université de Stanford et l’Université de New York a révélé que près de la moitié des agences fédérales utilisent une forme ou une autre de systèmes de prise de décision automatisés.

EPIC a creusé profondément dans l’utilisation d’algorithmes par une ville pour donner une idée des nombreuses façons dont ils peuvent influencer la vie des citoyens et encourager les gens d’autres endroits à entreprendre des exercices similaires. Ben Winters, qui dirige le travail de l’organisation à but non lucratif sur l’IA et les droits de l’homme, affirme que Washington a été choisi en partie parce qu’environ la moitié des habitants de la ville s’identifient comme noirs.

“Le plus souvent, les systèmes de prise de décision automatisés ont des impacts disproportionnés sur les communautés noires”, déclare Winters. Le projet a trouvé des preuves que les caméras automatisées de contrôle de la circulation sont placées de manière disproportionnée dans les quartiers avec plus de résidents noirs.

— plus de détails locaux dans l’article original —

Il y a environ deux ans, les villes d’Amsterdam et d’Helsinki ont annoncé leur intention de dresser des listes complètes de leurs propres algorithmes municipaux, ainsi que des ensembles de données utilisés pour les former et les employés municipaux responsables. L’idée était d’aider les citoyens à demander réparation à un humain s’ils estimaient qu’un système avait des problèmes.

Mais à ce jour, artificielle d’Helsinki sert en grande partie de marketing pour un ensemble de chatbots de services municipaux. Le registre des algorithmes d’Amsterdam répertorie actuellement uniquement les systèmes de détection des locations de vacances illégales, le contrôle automatisé du stationnement et un algorithme utilisé pour signaler les problèmes à la ville. Ensemble, les deux villes répertorient un total de 10 systèmes de prise de décision automatisés, malgré le fait qu’un document publié par les responsables d’Amsterdam et d’Helsinki indique qu’ils avaient conjointement plus de 30 projets d’IA en cours fin 2020.

Des chercheurs de l’Université d’Oxford, de l’Institut Alan Turing de Londres et de l’Université de Cardiff déclaré dans un article l’année dernière que le registre d’IA d’Amsterdam omettait certains des outils les plus préoccupants ou problématiques rencontrés par les habitants d’Amsterdam, appelant la liste “théâtre éthique”. En ville, les algorithmes peuvent également décider où les enfants vont à l’école ou où envoyer la police. Les auteurs ont conclu que le projet de registre semblait intentionnellement axé uniquement sur un ensemble limité et inoffensif d’algorithmes.

Winters dit que les registres d’algorithmes peuvent fonctionner, si des règles ou des lois sont en place pour obliger les ministères à les prendre au sérieux. « C’est un excellent format », dit-il à propos de l’approche d’Amsterdam. “Mais c’est extrêmement incomplet.”

Sources: https://arstechnica.com/information-technology/2022/11/algorithms-quietly-run-the-city-of-dc-and-maybe-your-hometown/
et https://epic.org/screened-scored-in-dc/
et https://www.wired.com/story/algorithms-quietly-run-the-city-of-dc-and-maybe-your-hometown/

Est-ce une explication de l’inflexibilité, de la stupidité et de l’aveuglement de la bureaucratie galopante ?