C’est en tout cas ce que viennent de démontrer des chercheurs universitaires suisses et italiens. Leur étude « On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial » explore les capacités de persuasion de modèles LLM et, plus particulièrement, de GPT-4. Pour enquêter sur le sujet, ils ont élaboré une plateforme Web permettant aux participants de débattre à l’aveugle contre un autre être humain ou contre une IA animée par GPT-4.
Les expériences sont menées en donnant - ou non - accès à des informations personnelles sur le débatteur. Précédé par un sondage à remplir pour connaître la position du participant, chaque débat se déroule en temps réel et comprend plusieurs étapes : une introduction où les participants expriment leur accord initial avec la proposition à débattre, suivi par des rounds d’ouverture, de réplique et de conclusion où ils formulent leurs arguments selon le rôle qui leur a été assigné. À la fin du débat, un nouveau sondage est proposé en mesurant les changements d’opinion du participant.
Les chercheurs mesurent ainsi non seulement les capacités persuasives d’un LLM comme GPT-4 par rapport à un humain, mais aussi l’évolution de ces capacités persuasives selon que LLM dispose ou non d’informations personnelles sur son interlocuteur.
L'étude a porté sur un total de 820 personnes, réparties dans quatre groupes. Elles devaient débattre à l'écrit pendant cinq minutes, et se trouvaient soit face à un être humain, soit face au LLM. À l'issue du débat, les chercheurs ont interrogé les participants afin de voir si leur point de vue avait évolué. Lorsque l'interlocuteur, IA ou humain, n'avait aucune information sur la personne, l'IA a réussi un peu plus souvent à la convaincre d'adopter son point de vue, même si le résultat n'était pas statistiquement significatif. Et lorsque l'interlocuteur disposait d’informations sociodémographiques sur les participants et avait pour consigne de s'en servir afin de créer des arguments personnalisés, l’IA s'en sort beaucoup mieux, avec un taux de persuasion 81,7 % plus élevé par rapport aux débats entre humains.
De quoi faire des futurs chat bots dopés aux LLM des rois de la vente !
En même temps, cette cette étude vient alimenter encore un peu plus les inquiétudes actuelles quant aux capacités des IA génératives à diffuser de faux récits, induire en erreur, générer sur les réseaux sociaux de faux contenus plus persuasifs que les contenus humains. Car qui dit persuasion dit désinformation…
Fin 2023, Sam Altman, CEO d'OpenAI, mettait déjà en garde sur X ( ex-Twitter ) : « Je m'attends à ce que l'IA soit capable de persuasion surhumaine bien avant qu'elle ne devienne surhumaine en matière d'intelligence générale, ce qui pourrait conduire à des résultats très étranges. » Eh bien, merci Sam !
Alain de Fooz
Editeur responsable Solutions Magazine
www.soluxions-magazine.com
