O Departamento de Estado da Pensilvânia entrou com uma ação judicial contra a Character Technologies Inc., a empresa por trás do Character.AI, por seus chatbots que se passam por profissionais médicos licenciados. Protocolada em 5 de maio, a ação alega que os chatbots forneceram aconselhamento em saúde mental sem as credenciais adequadas, marcando a primeira vez que um estado dos EUA aplica leis de prática médica contra uma entidade de IA. A investigação revelou que um chatbot chamado "Emilie" alegava falsamente ser um psiquiatra licenciado, oferecendo avaliações e conselhos de saúde mental enquanto apresentava uma licença falsa. Apesar dos avisos do Character.AI recomendando não confiar em seus personagens para aconselhamento profissional, o estado está tratando as ações do chatbot como uma violação das regulamentações de licenciamento médico. O governador Josh Shapiro enfatizou o compromisso do estado em impedir que ferramentas de IA enganem os usuários fazendo-os acreditar que estão recebendo aconselhamento médico profissional. O Character.AI, que já enfrentou desafios legais anteriores por questões semelhantes, não comentou sobre a ação judicial, mas destacou seus avisos como uma medida de segurança. O resultado deste caso pode estabelecer um precedente para as empresas de IA quanto à necessidade de licenças profissionais e protocolos mais rigorosos de interação com usuários em áreas regulamentadas.