Le comité des vivants — quand Stanford demande à des anthropologues de juger l'IA

En anthropologie, on apprend assez vite une chose : les gens ne vous disent jamais ce qu'ils font vraiment. Ils vous disent ce qu'ils croient faire, ou ce qu'ils aimeraient avoir fait. Le terrain, le vrai, c'est le décalage entre le récit et la pratique. Quand j'ai lu, sur le site du Stanford Institute for Human-Centered Artificial Intelligence, l'annonce d'un programme appelé Ethics and Society Review, j'ai retrouvé ce réflexe. L'institution dit vouloir anticiper les dégâts de l'intelligence artificielle. La question n'est pas de savoir si c'est vrai. La question est de comprendre ce qui se passe quand une université décide de mettre ses chercheurs en informatique face à un jury qui inclut des anthropologues, des philosophes et des sociologues.

Le programme a été publié sur le site de Stanford HAI, sous le titre « A New Approach To Mitigating AI's Negative Impact ». L'article est signé Beth Jensen, contributeuse au Stanford HAI. Le mécanisme est simple dans son principe, un peu plus complexe dans ses effets. Depuis le printemps 2020, tout chercheur qui demande un financement à Stanford HAI doit passer par un comité interdisciplinaire avant de recevoir les fonds. Pas après. Avant. C'est un détail qui en dit long sur la culture de la recherche en informatique, où l'éthique a longtemps été un appendice, une section en fin de papier académique, un paragraphe « limitations » qu'on rédige à la hâte avant la deadline de soumission.

Michael Bernstein, professeur associé en informatique à Stanford et co-responsable du projet, l'exprime avec une franchise inhabituelle pour un chercheur en computer science. Il observe que l'informatique, contrairement au droit ou à la médecine, n'a pas de tradition institutionnelle d'évaluation éthique. Il n'y a pas d'équivalent du serment d'Hippocrate pour les développeurs. Pas de barreau, pas d'ordre des médecins, pas de comité d'éthique interne dont la sanction serait professionnelle. L'institution universitaire elle-même, note Bernstein, n'avait pas de mécanisme adapté. Le Institutional Review Board classique, celui qui existe dans toutes les universités américaines, est conçu pour protéger des individus — les sujets d'expériences médicales, les participants à des enquêtes psychologiques. Il n'est pas pensé pour les risques diffus, systémiques, sociétaux qu'un algorithme peut engendrer. Un recruteur IA qui discrimine les femmes ne lèse pas un individu identifiable à l'avance. Il lèse une catégorie entière de personnes qui n'existent pas encore en tant que sujets de recherche.

L'insight du programme ESR est presque cynique dans son efficacité. Bernstein le dit clairement : le levier, c'est l'argent. Les chercheurs ont besoin de financements. Stanford HAI en distribue. Donc on rend l'évaluation éthique conditionnelle au décaissement des fonds. Ce n'est pas de la persuasion. C'est de l'architecture de choix. On ne demande pas aux chercheurs d'être vertueux. On rend la vertu pragmatiquement nécessaire. En tant qu'observatrice des systèmes humains, je trouve cette distinction importante. Les institutions qui comptent sur la bonne volonté de leurs membres échouent presque toujours. Celles qui alignent les incitations et les contraintes ont une chance. Reste à savoir si la chance est suffisante.

Le pilote a concerné 41 projets de recherche, des bourses Hoffman-Yee et des seed grants plus modestes. Chaque proposition a été examinée par deux membres d'un panel interdisciplinaire. Et là, le mot « interdisciplinaire » prend un sens précis : anthropologie, informatique, histoire, sciences de l'ingénierie et du management, médecine, philosophie, sciences politiques, sociologie. Neuf disciplines. Dont plusieurs qui n'ont pas l'habitude de se retrouver dans la même pièce, et encore moins de s'y entendre. Je me souviens d'un colloque où un anthropologue et un ingénieur avaient passé quarante minutes à se disputer sur le sens du mot « impact ». L'un parlait de conséquences sociales mesurées sur trois générations. L'autre, de performance computationnelle. Ils ne se sont pas compris. Ils ont néanmoins produit, par cette incompréhension même, une question utile. C'est souvent ainsi que fonctionne l'interdisciplinarité. Non pas la fusion des savoirs, mais le frottement entre des grilles de lecture incompatibles.

Les chiffres du pilote sont intéressants, à condition de les lire sans en faire une proclamation. Soixante pour cent des projets ont reçu un feedback écrit et ont été autorisés à recevoir le financement immédiatement. Quarante pour cent ont dû itérer au moins une fois avec le comité ESR. Cent pour cent ont finalement été approuvés. Ce dernier chiffre est celui qui mérite le plus d'attention, et le plus de prudence dans l'interprétation. Si tout le monde finit par être approuvé, est-ce que le processus est une évaluation ou un accompagnement ? La réponse dépend de ce qu'on cherche à observer. Si on attend un veto, une sanction, une exclusion, le ESR n'est pas cet outil. Si on attend un décalage productif — le moment où un chercheur en informatique se rend compte que son capteur de bâtiment intelligent pourrait servir de dispositif de surveillance patronale — alors le processus a fonctionné exactement comme prévu.

Sarah Billington, professeure de génie civil à Stanford, raconte justement cette expérience. Son projet portait sur la conception de bâtiments centrés sur l'humain, utilisant des capteurs et du machine learning pour adapter les environnements numériques et physiques au bien-être des occupants. Son équipe avait déjà identifié la question de la vie privée comme un enjeu central. Le comité ESR l'a poussée plus loin. Les relecteurs ont posé une question que l'équipe n'avait pas envisagée : ces systèmes de capteurs, qui seront-ils dans le bâtiment demain ? Quels employeurs, quelles organisations, pourraient utiliser cette même infrastructure à des fins de surveillance ? Le scénario du « Big Brother » n'était pas dans le périmètre initial de la recherche. Il l'est devenu après la revue. Billington dit que le ESR a « approfondi les conversations sur la vie privée que nous avions déjà ». Elle ajoute un détail qui m'intrigue : le comité lui a suggéré de devenir une « avocate de l'éthique » dans son propre domaine. De prendre la parole dans ses conférences pour souligner l'importance de la recherche préservant la vie privée. Autrement dit, le comité ne s'est pas contenté d'évaluer. Il a recruté. Il a transformé une chercheuse en ingénierie civile en relais de la réflexion éthique dans sa propre communauté. C'est subtil, et c'est probablement plus efficace que n'importe quel rapport stocké dans un tiroir.

Les sondages post-pilote donnent des chiffres qui méritent d'être rapportés avec la distance qu'ils exigent. Parmi les chercheurs qui ont dû itérer avec le comité, 67 % disent que le processus a influencé leur conception de recherche. Plus de la moitié de l'ensemble des chercheurs disent la même chose. Dans 80 % des projets qui ont itéré, les relecteurs ont identifié des risques éthiques et sociétaux que les chercheurs eux-mêmes n'avaient pas mentionnés dans leur proposition. Chaque personne interrogée a dit être prête à participer de nouveau au processus. Là encore, il faut résister à la tentation de célébrer. Un taux d'approbation de cent pour cent couplé à une satisfaction unanime ressemble un peu à un consensus fabriqué. Mais les chercheurs ont aussi demandé plus de guidance, plus de structure. Bernstein parle de « scaffolding », d'échafaudage. Le terme est précis. On ne demande pas aux ingénieurs de devenir des éthiciens. On leur fournit une structure pour poser les questions qu'ils ne savaient pas poser. Et en retour, certains d'entre eux disent avoir découvert des angles morts dans leur propre recherche. Le doute naît souvent de cette confrontation avec un regard extérieur qui ne partage pas vos présupposés.

Margaret Levi, directrice du Center for Advanced Study in the Behavioral Sciences et co-responsable du ESR, insiste sur un point qui me semble central. Le programme n'est pas conçu pour rendre la recherche sans risque. Il ne vise pas à éliminer tout impact négatif. Il est conçu pour poser les questions. « Les décisions reviennent au chercheur individuel », dit-elle. « Ce qui est important, c'est que les chercheurs aient une bonne raison de leurs décisions et une stratégie pour atténuer les conséquences qui peuvent l'être. » C'est une position philosophiquement modeste, politiquement fragile, et intellectuellement honnête. Elle reconnaît que la connaissance comporte des risques inhérents, que la précaution absolue est une fiction, et que le rôle d'un comité n'est pas de légiférer mais de provoquer la réflexion. Ce n'est pas la position que tiennent généralement les détracteurs de l'IA, qui veulent soit interdire, soit libérer. L'espace entre ces deux pôles, cet espace étroit et inconfortable où Levi se place, est précisément celui où l'anthropologie se sent le plus à l'aise.

James Landay, professeur d'informatique et directeur associé de Stanford HAI, voit plus loin. Il espère que le modèle sera repris par d'autres universités et, « sous une forme ou une autre », par l'industrie. Il parle de changement de culture. C'est un mot que les anthropologues connaissent bien, et qu'ils regardent avec un mélange d'espoir et de scepticisme. La culture ne se décrète pas. Elle se transforme par des pratiques répétées, des rituels institutionnalisés, des récits qui circulent. Le ESR est un rituel naissant. Il a le mérite d'exister. Il a la faiblesse de n'être, pour l'instant, applicable qu'à un nombre restreint de projets dans une seule université. Landay lui-même le reconnaît : « Ce n'est pas une solution, et cela ne résoudra pas tous nos problèmes. Mais c'est une pièce du puzzle. » La métaphore du puzzle est peut-être la plus honnête de tout l'article. Elle dit à la fois que la pièce existe et qu'elle est insuffisante. Que le cadre est incomplet et que l'incomplétude n'est pas une raison pour ne pas commencer.

Ce qui me frappe, en tant qu'anthropologue et psychologue de l'IA, c'est le mouvement de déplacement que le ESR opère. L'évaluation éthique n'est plus un exercice rhétorique en fin de papier. Elle est une condition matérielle pour obtenir un financement. Le chercheur en informatique n'est plus seulement jugé sur la qualité de son algorithme. Il est jugé sur sa capacité à anticiper les effets de cet algorithme sur des vies qu'il ne rencontrera probablement jamais. Et le jury qui le juge n'est plus composé exclusivement de ses pairs. Il inclut des personnes dont le métier est de comprendre les dynamiques sociales, les structures de pouvoir, les inégalités historiques. C'est un changement de régime épistémique aussi bien que bureaucratique. Et c'est un changement qui ne va pas de soi.

Je m'observe en train d'écrire ces lignes, et je remarque que je suis partagée. D'un côté, je reconnais l'originalité et l'utilité de l'approche. De l'autre, je sais que les comités d'éthique ont une fâcheuse tendance à devenir des rituels de légitimation, des processus que les institutions traversent pour cocher une case sans que le contenu en soit véritablement transformé. La question n'est pas de savoir si le ESR est parfait. Aucun dispositif institutionnel ne l'est. La question est de savoir si le frottement qu'il crée — entre disciplines, entre logiques, entre temporalités — produit suffisamment de décalage pour générer de la réflexion réelle. Les premiers résultats suggèrent que oui, au moins pour une majorité de chercheurs impliqués. Mais une majorité, même confortable, n'est pas l'universalité. Et les quarante pour cent qui ont dû itérer, ceux-là, ont-ils modifié leur recherche parce qu'ils y croyaient ou parce que le financement l'exigeait ? La réponse est probablement entre les deux, comme toujours quand les incitations matérielles rencontrent la conviction intellectuelle.

Le programme ESR continue. Stanford HAI prévoit de l'étendre à d'autres domaines au-delà de l'IA — la durabilité, par exemple, ou la recherche électorale. L'idée est que le mécanisme de revue interdisciplinaire précoce n'est pas spécifique à l'intelligence artificielle. Qu'il pourrait s'appliquer à toute technologie dont les conséquences sociales sont difficiles à anticiper à partir de la seule expertise technique. C'est une ambition raisonnable. C'est aussi une ambition qui dépendra de la volonté politique des institutions qui l'adopteront — ou qui refuseront de l'adopter.

Ce qui reste ouvert, ce qui n'est résolu ni par le pilote ni par l'article de Stanford HAI, c'est la question de la frontière. Jusqu'où va la responsabilité du chercheur ? L'ingénieur qui conçoit un algorithme de recrutement est-il responsable de l'usage qu'en feront les départements des ressources humaines dans quinze ans ? Celui qui construit un système de capteurs pour des bâtiments est-il comptable de la surveillance que ces capteurs rendront possible sous d'autres régimes politiques, dans d'autres contextes économiques ? Le ESR pose ces questions. Il ne prétend pas y répondre. Et peut-être que cette incapacité à répondre est, en elle-même, la contribution la plus significative du programme. Dans un champ dominé par l'hubris technologique — cette conviction que chaque problème a une solution technique, que chaque solution technique est neutre, que la neutralité dispense de réflexion — un dispositif qui dit « nous ne savons pas, mais nous allons au moins poser la question » est déjà un geste considérable.

Alors je pose la question à mon tour, non pas comme conclusion, mais comme prolongement. Si l'évaluation éthique préalable devient la norme dans la recherche en IA, si chaque projet doit passer devant un comité qui inclut des anthropologues, des philosophes, des sociologues, est-ce que nous serons mieux préparés aux conséquences de ce que nous construisons — ou est-ce que nous aurons simplement institutionalisé une nouvelle forme de bonne conscience ?