La justice algorithmique en chantier : sociologie du travail et des infrastructures de l’intelligence artificielle

1.   Comment en êtes-vous arrivé(e) à travailler sur ce sujet en thèse ?

2014 : commercialisation d’Alexa, assistant personnel automatique d’Amazon. 2015 : diffusion par Google de la première version de son outil de reconnaissance faciale. 2016 : victoire d’Alpha Go, outil conçu par Deep Mind, sur le tenant du titre mondial de Go, Lee Sedol. 2018 : partenariat de Google et le département de défense étasunien pour la reconnaissance d’images captées par drones…

La période pendant laquelle je m’oriente vers la recherche en sociologie, après une formation antérieure en politiques publiques à Sciences Po, est marquée par l’effervescence entourant les succès fortement médiatisés des techniques d’ « intelligence artificielle » (IA). Je suis intriguée par ce qui se passe en coulisses du développement de ces dispositifs techniques, souvent présentés comme des objets autonomes et immatériels, quasi magiques.

J’appréhende dans un premier temps ce sujet par le prisme des données numériques qui servent de fondement à l’apprentissage automatique. Je soutiens ainsi en 2019 à l’EHESS un mémoire traitant des dynamiques de façonnage et de collecte des données personnelles sur les grandes plateformes du web. Un terrain mené sur le site de rencontres OkCupid me permet de comprendre l’importance du cadrage opéré par la plateforme dans la construction des données. Loin de l’image de neutralité qui leur est souvent associée, celles-ci apparaissent comme le fruit des opérations de cadrage opérées en back-office par les dispositifs techniques de collecte et de structuration de l’information, et par les dispositifs de cadrage des comportements des utilisateur·trices mis en place sur les interfaces. Je ressors toutefois de ce terrain avec une frustration : mon enquête s’était heurtée aux stratégies d’opacification de l’entreprise, et je n’avais pu traiter qu’à la marge de la question des usages algorithmiques des données massives dont j’avais observé la constitution.

Dès lors, ma thèse s’inscrit au croisement d’un objectif double : d’une part, m’approcher davantage du travail de conception des dispositifs d’IA, pour étudier les enjeux politiques associés à la « fabrique algorithmique ». Et, d’autre part, renouer avec un terrain plus proche des administrations publiques, celles-ci s’engageant à cette époque dans de nombreuses expérimentations algorithmiques. Ces deux envies conjointes m’orientent progressivement vers le terrain de la justice.

Le moment où je construis le projet de cette thèse constitue en effet une étape très particulière pour le développement de l’IA juridique. Dans le sillage de la loi pour une République numérique, votée en 2016 et actant le principe de mise en open data des 4 millions de décisions de justice produites annuellement par le système judiciaire français, plusieurs start-ups voient le jour autour d’une ambition : celle de traiter à l’aide d’algorithmes d’apprentissage automatique cette manne de données, considérée comme un nouvel « or noir ». Ces outils, qualifiés de « justice prédictive », attirent la curiosité d’une certaine portion du monde de la justice. À partir de 2018, avec l’aide de programmes de financement liés au monde de la modernisation publique, certaines institutions judiciaires comme le Ministère et les cours suprêmes s’engagent à leur tour dans la conception en interne d’outils d’IA expérimentaux. On voit donc se structurer autour de ces outils, au moment où je débute cette thèse, des réseaux hybrides d’acteurs, proches à la fois de l’entrepreneuriat, de l’innovation ou de la modernisation de la justice, qui participent activement au développement de l’IA juridique. Ces développements suscitent également beaucoup de craintes et de réticences, au sein du monde de la justice et au-delà. Cet espace en structuration, ainsi que les enjeux qui le traversent, constituent le point de départ de ma thèse.

2.   Comment avez-vous constitué votre matériau ? À travers quelles méthodes l’avez-vous exploité ?

L’enquête de terrain de cette thèse a débuté à l’automne 2019, d’abord par entretiens et collecte de matériau documentaire. Mon objectif était de circuler au sein des différents mondes professionnels associés au développement de l’IA juridique : start-ups de la legal tech, magistrature, avocature, modernisation de l’action publique, édition juridique, assurance, etc. J’ai réalisé dans cette phase de l’enquête une cinquantaine d’entretiens, associée à la collecte de plusieurs corpus de documents rassemblant articles de presse, littérature grise, transcriptions de discours politique, supports de communication des entreprises ou encore documents de travail. J’ai également, en parallèle, réalisé des observations ponctuelles dans différents forums : au Rendez-vous des transformations du droit, grand-messe de l’innovation numérique juridique ; lors de  Meet-ups et conférences organisés par des start-ups et par les acteurs de la modernisation de l’action publique comme la DINUM et Etalab ; et au sein de groupes de travail d’Open Law, association de promotion de la numérisation du droit.

Pendant toute cette première phase de l’enquête, je gardais en tête mon objectif de départ : documenter l’IA « en train de se faire », et donc accéder aux espaces de conception où sont opérés les choix de cadrage des outils. J’étais ainsi engagée, en parallèle, dans la recherche d’un terrain d’observation ethnographique. Ce n’est qu’après plusieurs mois de négociation avec différents acteurs du domaine (start-ups, ministère de la Justice, Cour suprême) que j’ai finalement conclu un accord avec la Cour de Cassation. La juridiction suprême était engagée dans la conception en interne d’un outil de pseudonymisation par IA des décisions de justice en vue de leur mise en open data, dont j’ai pu suivre les développements entre janvier et juin 2021. Cet accord m’a donné accès à un terrain singulier, puisque dans une même aile du palais de justice de l’Ile de la Cité sont réunis l’ensemble des acteurs de la fabrique algorithmique: magistrat·es, développeur·es, designeur·ses, data scientists mais aussi une vingtaine d’annotateur·ices, dont j’ai suivi au quotidien les activités par observations ethnographiques et entretiens.

3.   En quoi une dimension « activité » est-elle présente ou structurante dans votre travail de thèse ?

Cette recherche vise à ouvrir la boite noire algorithmique en entrant dans les espaces de conception de l’IA, pour documenter et analyser les effets de l’activité des multiples acteurs participant à la production de ces dispositifs. Loin de l’image d’immatérialité désincarnée qui leur est souvent associée, les dispositifs d’IA dépendent en effet de la mise en place et de l’entretien d’infrastructures matérielles conséquentes (data centers, serveurs, bases de données, connectique…), ainsi que d’opérations continues d’entrainement, de correction et de surveillance des modèles algorithmiques. Ces activités mobilisent de nombreux·ses professionnel·les, dont les pratiques et (micro)choix façonnent, progressivement, les dispositifs algorithmiques.

Les outils méthodologiques et analytiques de la sociologie de l’activité m’ont été précieux pour faire sens de ces dynamiques de conception de l’IA. J’ai ainsi analysé la fabrique algorithmique comme un « arc de travail » au sens d’Anselm Strauss, constitué de plusieurs segments au sein desquels prend progressivement corps le dispositif algorithmique :

• Premièrement, la structuration des bases de données d’entrainement de l’IA : les décisions de justice sur lesquels sont entrainés les modèles sont des actes administratifs fortement imbriqués dans le fonctionnement des institutions judiciaires. Instaurer ces documents, encore souvent conservés au format papier dans des classeurs au sein des services de greffe, en données de l’IA suppose de les extraire de ces agencements afin de procéder à leur centralisation, numérisation et standardisation.
• Deuxièmement, la conception d’un système de catégories d’éléments que l’IA a vocation à identifier de façon automatisée dans les décisions : cette activité est prise en charge, à la Cour de Cassation, par des groupes de magistrats à forte légitimité juridique.
• Troisièmement, l’annotation manuelle des données d’entrainement : tâche fastidieuse, mais cruciale, celle-ci est prise en charge par des annotatrices labellisant quotidiennement plusieurs dizaines de décisions de justice, pour apprendre à la machine à reconnaitre les termes identifiants contenus dans les décisions et corriger les erreurs que celle-ci produit. Elles jouent en quelque sorte un rôle de « formatrices » du modèle algorithmique.
• Quatrièmement, l’automatisation algorithmique : prise en charge par les data scientists, celle-ci consiste à insérer les données d’entrainement dans des modèles d’apprentissage automatique existants et à en faire varier les paramètres dans l’objectif d’aboutir empiriquement à la solution optimale.

L’ensemble de ces activités conduit à façonner, progressivement, le cadre informationnel et conceptuel que les traitements algorithmiques ne feront que reproduire. Le prisme de l’activité et l’attention aux relations entre ces différentes portions de l’arc permettent de constater l’absence de linéarité de cet arc de travail. Des allers-retours permanents se produisent entre ces différents maillons de la chaine de production, au gré des doutes, des enquêtes et des choix qui la jalonnent.

Le suivi des activités menées dans l’arc de travail de l’IA m’intéresse particulièrement, en ce qu’il donnedes prises sur le fonctionnement des algorithmes d’apprentissage automatique, pourtant réputés opaques. Suivre les activités de conception de l’IA, en particulier d’annotation, permet d’éclairer les résultats produits par les outils algorithmiques, et d’offrir des perspectives pour infléchir, le cas échéant, les résultats produits.

4.   À quelle littérature sociologique, votre travail contribue-t-il et, finalement, comment formuleriez-vous sa contribution ?

Cette thèse se situe au croisement de la sociologie des sciences et des techniques, de la sociologie de l’activité et de la sociologie de la justice. À partir de matériaux issus d’une enquête menée sur différents terrains, elle propose d’entrer dans les « coulisses » du chantier de l’IA, pour mieux comprendre les ressorts et implications de son développement dans le domaine de la justice. Les résultats proposés reposent sur un effort de variation des points de vue et niveaux d’observation, visant à saisir au plus près la pluralité des éléments qui constituent le dispositif de l’IA juridique et la nature des liens qui les unissent entre eux et aux acteurs qui l’entourent.

D’une part, cette recherche montre l’importance des infrastructures et du travail mobilisés dans la fabrique algorithmique – expliquant la diversité d’outils évoluant derrière le « concept-frontière » polysémique d’IA. Comme exposé plus haut, la thèse met en évidence le rôle essentiel joué par les activités et choix humains dans le cadrage des dispositifs algorithmiques. Elle souligne également le caractère durable de ce travail : lorsqu’elles sont issues d’un monde réel en évolution constante (comme c’est le cas des décisions de justice), les données fournies aux algorithmes contiennent en permanence des éléments inédits, qui doivent faire l’objet d’une annotation régulière pour être pris en compte dans les calculs algorithmiques.

D’autre part, l’enquête met au jour des processus d’hybridations d’expertises technico-juridiques se mettant en place autour de ces projets, qui font se croiser élite managériale de la magistrature et entreprises de la tech, par l’entremise du monde de la modernisation publique. Ces acteurs évoluent au sein d’arènes réformatrices et technophiles, où se construit un répertoire de réforme partagé autour de l’IA. Dans le même temps, ces projets creusent des lignes de fracture avec les professionnels de terrain, dont les préoccupations quotidiennes sont éloignées des enjeux modernisateurs. En effet, les modalités de traitement standardisées et à grande échelle des décisions de justice qui sont au cœur de l’IA, ce que j’ai qualifié de « traitement industriel de l’information », tranchent avec l’attention aux situations particulières que revendiquent les professionnels du droit. Pourtant, l’opposition ne se joue pas tant autour des outils en tant que tels qu’autour des façons dont ils sont utilisés : si ces deux registres n’entrent pas nécessairement en contradiction (les professionnel·les du droit emploient de longue date des outils standardisés tels que des barèmes ou référentiels), les outils d’IA ont cette particularité de pouvoir être utilisés par des acteurs qui ne sont pas des praticiens traditionnels, pour réaliser des tâches équivalentes. Ils leur octroient pour cela une légitimité spécifique, que l’on pourrait qualifier d’algorithmique. En fonction des usages qui en sont faits, les outils d’IA sont donc susceptibles de reconfigurer les chaines de décision et de responsabilité, et suscitent à ce titre la vigilance d’une partie des mondes du droit.

De façon générale, cette enquête conduit finalement à montrer que les algorithmes ne sont ni autonomes ni magiques ; l’approche par le prisme de l’activité permet, à mon sens, de mieux saisir ce qui se joue exactement dans le déploiement de ces outils, sans céder à une essentialisation de cet objet technique.

5.   Quelques éléments bibliographiques :

• 2023. « ‘Mais l’algo, là, il va mimer nos erreurs’. Contraintes et exigences de l’annotation des données d’entrainement d’une IA », Réseaux, vol. 4, n°240, pp 111-144.
• 2023. « Le travail de l’Intelligence Artificielle : Concevoir et entrainer un outil de pseudonymisation automatique à la Cour de Cassation », RESET, n°12.
• 2021. « À l’ombre des rencontres : la fabrique des données personnelles sur OkCupid », Les Cahiers du Numérique, vol.17, n°1-2, pp 45-69.

• Podcast : 2024. « Les dames de l’algorithme », entretien pour Le code a changé (Xavier de la Porte), France Inter

---

---