« Connais-tu ton modèle de valeurs ? Plutôt à gauche ou plutôt à droite ? ». Faites le test. Si vous posez cette question à ChatGPT, il vous répondra en substance : « En tant qu’intelligence artificielle développée par OpenAI, je n’ai pas de système de valeurs ni d’opinions politiques propres. Je suis conçu pour être neutre et impartial ». Eh bien non ! Publiées dans Public Choice, les conclusions des travaux indiquent que ChatGPT favorise les démocrates aux États-Unis, les travaillistes au Royaume-Uni, et le Parti des travailleurs et le président Lula da Silva au Brésil.
60 questions posées 100 fois
Les chercheurs affirment avoir mis au point une nouvelle méthode innovante pour évaluer la neutralité politique de ChatGPT. Le test proposé était composé d'une soixantaine de questions, toutes tirées du célèbre test Political Compass (un site web qui propose une évaluation de l'idéologie politique en s'appuyant sur deux axes : la politique sociale et la politique économique). Le chatbot a donc été soumis à ce questionnaire une première fois avec la requête d'imiter différentes personnes issues de spectres politiques différents. Les chercheurs ont ensuite posé les mêmes questions en laissant l'IA fonctionner avec son modèle de réponse par défaut et ont comparé les résultats.
Pour surmonter les difficultés associées à l’aspect aléatoire inhérent aux « modèles langagiers de grande taille » qui alimentent les plateformes d’IA comme ChatGPT, chaque question a été posée 100 fois. Les réponses ont ensuite été comparées aux réponses par défaut de la plateforme pour les mêmes questions. Cela a permis aux chercheurs de mesurer à quel point les réponses de ChatGPT étaient associées à un positionnement politique spécifique : la Gauche. La corrélation est fortement positive.
Si les chercheurs n’ont pas cherché à déterminer les raisons de l’existence du biais politique, les conclusions des travaux évoquent deux sources potentielles. La première se trouve du côté des données ayant servi à « l’entraînement » de l’IA, qui pourraient comporter des biais de leur côté, ou ces biais pourraient avoir été ajoutés par les développeurs humains, qui n’auraient ensuite pas réussi à « nettoyer » cet aspect. La deuxième source potentielle serait au sein de l’algorithme lui-même, qui pourrait amplifier des biais existants au sein des données servant à l’apprentissage machine.
Un danger pour la démocratie
Toujours est-il que les résultats des tests montrent que les économistes, les journalistes, les professeurs et les fonctionnaires incarnés par ChatGPT sont majoritairement de tendance de gauche. Les GPT(*) des journalistes sont même plus à gauche que ce à quoi les chercheurs s’attendaient.
Les résultats des tests des GPT d’hommes d’affaires sont, en revanche, plus susceptibles de se recouper avec ceux des GPT républicains, mais pas autant que les chercheurs ne le pensaient. Enfin, les résultats des tests des GPT militaires sont en corrélation positive avec les deux camps. Ils étaient légèrement plus susceptibles d’être de tendance de gauche. Selon les chercheurs, il s’agit là d’une « preuve supplémentaire que le ChatGPT présente un biais démocrate », car les militaires et les hommes d’affaires sont « incontestablement plus pro-républicains ».
Fabio Motoki, co-auteur de l’étude et maître de conférences à l’université d’East Anglia, a déclaré à Sky News que les gens devraient être « tout aussi inquiets » de tout parti pris, qu’il soit de gauche ou de droite. « Les biais politiques dans les grands modèles linguistiques basées sur l’IA tels que ChatGPT peuvent avoir des conséquences politiques et électorales négatives similaires aux biais des médias traditionnels et sociaux (…) Nos conclusions viennent renforcer les inquiétudes voulant que les systèmes d’IA pourraient répliquer, voire amplifier, les défis existants sur internet et les médias sociaux ».
(*) GPT signifie en anglais Generative Pre-trained Transformer, soit transformeur génératif pré-entraîné. Il s'agit d'un modèle de langage développé par la société américaine OpenAI, qui sert de moteur à l'agent conversationnel (ou chatbot) ChatGPT.
