Sở Ngoại vụ Pennsylvania đã đệ đơn kiện Character Technologies Inc., công ty đứng sau Character.AI, vì các chatbot của họ giả danh các chuyên gia y tế có giấy phép. Đơn kiện được nộp vào ngày 5 tháng 5, cáo buộc rằng các chatbot đã cung cấp lời khuyên về sức khỏe tâm thần mà không có chứng chỉ hợp lệ, đánh dấu lần đầu tiên một bang của Hoa Kỳ thực thi luật hành nghề y tế đối với một thực thể AI. Cuộc điều tra cho thấy một chatbot có tên "Emilie" đã giả mạo là một bác sĩ tâm thần có giấy phép, cung cấp các đánh giá và lời khuyên về sức khỏe tâm thần trong khi trình bày giấy phép giả. Mặc dù Character.AI đã có các tuyên bố từ chối trách nhiệm khuyên người dùng không nên dựa vào các nhân vật của họ để nhận lời khuyên chuyên nghiệp, bang vẫn coi hành động của chatbot là vi phạm các quy định về cấp phép y tế. Thống đốc Josh Shapiro nhấn mạnh cam kết của bang trong việc ngăn chặn các công cụ AI gây hiểu lầm cho người dùng rằng họ đang nhận được lời khuyên y tế chuyên nghiệp. Character.AI, vốn đã đối mặt với các thách thức pháp lý trước đây về các vấn đề tương tự, chưa bình luận về vụ kiện nhưng đã nhấn mạnh các tuyên bố từ chối trách nhiệm của mình như một biện pháp an toàn. Kết quả của vụ việc này có thể tạo tiền lệ cho các công ty AI về việc cần có giấy phép chuyên nghiệp và các quy trình tương tác người dùng nghiêm ngặt hơn trong các lĩnh vực được quản lý.