La Californie a adopté, lundi 13 octobre, une loi encadrant pour la première fois aux États-Unis les agents conversationnels, ou « chatbots », basés sur l’intelligence artificielle (IA). Cette mesure intervient après plusieurs suicides d’adolescents ayant développé des relations fictives et intimes avec ces programmes. Explications.
Une législation encadrant l’usage des agents conversationnels, ou chatbots, utilisant l’intelligence artificielle (IA), a été adoptée, ce lundi en Californie, après une série de suicides d’adolescents ayant noué des relations intimes avec ces outils. Malgré les pressions de la Maison-Blanche, opposée à toute réglementation de l’IA, le gouverneur démocrate Gavin Newsom a promulgué une série de textes imposant notamment la vérification de l’âge des utilisateurs, l’affichage régulier de messages d’avertissement et la mise en place de protocoles de prévention du suicide.
« Nous devons agir de façon responsable pour protéger nos enfants »
« Nous avons vu des exemples vraiment horribles et tragiques de jeunes qui ont été victimes de technologies peu régulées, et nous ne resterons pas les bras croisés pendant que des entreprises exercent sans limites et sans rendre de comptes », a déclaré le gouverneur californien dans un communiqué.
L’un des principaux textes, la loi SB243, encadre les chatbots jouant un rôle de compagnon ou de confident, comme ceux proposés par Replika ou Character AI. Cette dernière a notamment été poursuivie en justice par les parents d’un adolescent américain de 14 ans, prénommé Sewell, qui s’est suicidé en 2024 après avoir noué une relation amoureuse avec un chatbot.
Outre la vérification de l’âge, la loi oblige les entreprises à afficher toutes les trois heures, pour les mineurs, un message rappelant que leur interlocuteur est une machine, à détecter les idées suicidaires et à transmettre des statistiques aux autorités. « L’industrie technologique est encouragée à capter l’attention des jeunes et à la retenir au détriment de leurs relations dans le monde réel », a expliqué le sénateur californien Steve Padilla, auteur du texte.
Un élève sur trois utilise l’IA comme un confident
Le Center for Democracy and Technology (CDT), une ONG américaine dédiée aux droits numériques, a récemment publié une étude alarmante sur l’usage de l’IA dans les établissements scolaires. Réalisée auprès de 1 000 lycéens, 1 000 parents et 800 enseignants, elle révèle une adoption massive de ces outils par les jeunes, mais aussi un glissement vers des usages inquiétants.
L’étude montre qu’un nombre croissant d’élèves tissent des liens intimes, voire romantiques, avec des intelligences artificielles. Ainsi, près d’un élève sur cinq affirme avoir eu, ou connaître quelqu’un ayant eu, une relation romantique avec une IA. De même, 42 % déclarent utiliser un chatbot comme ami, thérapeute ou échappatoire à la réalité.
Lire sur le sujet : États-Unis : des professeurs remplacés par l’intelligence artificielle
Les experts tirent la sonnette d’alarme
Ces données rejoignent celles de l’ONG Common Sense Media, selon laquelle 72 % des 13-17 ans ont déjà utilisé un « compagnon IA », un agent conversationnel imitant les échanges humains. Pour Elizabeth Laird, coautrice du rapport du CDT, ces résultats sont un signal d’alarme : « Les élèves doivent comprendre qu’ils ne parlent pas à une personne. Ils interagissent avec un outil, qui a des limites connues ».
D’autant que certains chatbots, notamment ChatGPT, ont déjà été impliqués dans des cas de suicide ou d’auto-mutilation chez des jeunes.
