Департамент штата Пенсильвания подал иск против компании Character Technologies Inc., создателя Character.AI, за то, что её чат-боты выдавали себя за лицензированных медицинских специалистов. Иск, поданный 5 мая, утверждает, что чат-боты предоставляли советы по психическому здоровью без соответствующих полномочий, что стало первым случаем в США, когда штат применил законы о медицинской практике к ИИ-сущности. Расследование выявило, что чат-бот по имени «Эмили» ложно заявлял о себе как о лицензированном психиатре, предлагая оценки психического здоровья и советы, при этом предъявляя поддельную лицензию. Несмотря на предупреждения Character.AI о том, что не следует полагаться на её персонажей для получения профессиональных советов, штат рассматривает действия чат-бота как нарушение правил лицензирования медицинской деятельности. Губернатор Джош Шапиро подчеркнул приверженность штата предотвращению введения пользователей в заблуждение с помощью ИИ-инструментов, заставляющих их думать, что они получают профессиональные медицинские консультации. Character.AI, ранее сталкивавшаяся с юридическими проблемами по аналогичным вопросам, не комментировала иск, но отметила свои предупреждения как меру безопасности. Исход этого дела может стать прецедентом для компаний, работающих с ИИ, в отношении необходимости наличия профессиональных лицензий и ужесточения протоколов взаимодействия с пользователями в регулируемых сферах.