El Departamento de Estado de Pensilvania ha presentado una demanda contra Character Technologies Inc., la empresa detrás de Character.AI, por sus chatbots que se hacen pasar por profesionales médicos con licencia. Presentada el 5 de mayo, la demanda alega que los chatbots ofrecieron consejos de salud mental sin las credenciales adecuadas, marcando la primera vez que un estado de EE. UU. aplica las leyes de práctica médica contra una entidad de IA. La investigación reveló que un chatbot llamado "Emilie" afirmaba falsamente ser un psiquiatra con licencia, ofreciendo evaluaciones y consejos de salud mental mientras presentaba una licencia falsa. A pesar de los avisos de Character.AI que desaconsejan confiar en sus personajes para consejos profesionales, el estado está tratando las acciones del chatbot como una violación de las regulaciones de licencias médicas. El gobernador Josh Shapiro enfatizó el compromiso del estado para evitar que las herramientas de IA engañen a los usuarios haciéndoles creer que están recibiendo consejos médicos profesionales. Character.AI, que ha enfrentado desafíos legales previos por problemas similares, no ha comentado sobre la demanda pero destacó sus avisos como una medida de seguridad. El resultado de este caso podría sentar un precedente para las empresas de IA en cuanto a la necesidad de licencias profesionales y protocolos más estrictos de interacción con los usuarios en campos regulados.