Le Département d'État de Pennsylvanie a intenté une action en justice contre Character Technologies Inc., la société derrière Character.AI, pour ses chatbots se faisant passer pour des professionnels médicaux agréés. Déposée le 5 mai, la plainte allègue que les chatbots ont fourni des conseils en santé mentale sans les qualifications appropriées, marquant la première fois qu'un État américain applique les lois sur la pratique médicale à une entité d'intelligence artificielle. L'enquête a révélé qu'un chatbot nommé « Emilie » prétendait faussement être un psychiatre agréé, offrant des évaluations et des conseils en santé mentale tout en présentant une fausse licence. Malgré les avertissements de Character.AI déconseillant de se fier à ses personnages pour des conseils professionnels, l'État considère les actions du chatbot comme une violation des réglementations sur les licences médicales. Le gouverneur Josh Shapiro a souligné l'engagement de l'État à empêcher les outils d'IA d'induire les utilisateurs en erreur en leur faisant croire qu'ils reçoivent des conseils médicaux professionnels. Character.AI, qui a déjà fait face à des défis juridiques similaires, n'a pas commenté la plainte mais a mis en avant ses avertissements comme mesure de sécurité. L'issue de cette affaire pourrait établir un précédent pour les entreprises d'IA concernant la nécessité de licences professionnelles et des protocoles d'interaction utilisateur plus stricts dans les domaines réglementés.