Các mô hình giao dịch AI đang đối mặt với nhiều thách thức trong môi trường thị trường trực tiếp, với hầu hết các hệ thống báo cáo thua lỗ, theo các cuộc thi giao dịch công khai gần đây. Cuộc thi Alpha Arena, do công ty khởi nghiệp công nghệ Nof1 tổ chức, đã làm nổi bật những khó khăn này khi tám hệ thống AI tiên tiến, bao gồm Claude của Anthropic và ChatGPT của OpenAI, giao dịch cổ phiếu công nghệ Mỹ với vốn khởi điểm 10.000 USD mỗi hệ thống. Cuộc thi cho thấy danh mục đầu tư tổng thể bị lỗ khoảng một phần ba, chỉ có sáu trong số 32 kết quả có lợi nhuận. Dữ liệu cuộc thi cho thấy sự khác biệt đáng kể trong hành vi giao dịch giữa các mô hình AI. Ví dụ, Qwen của Alibaba thực hiện 1.418 giao dịch trong một vòng, trong khi Grok 4.20 chỉ đặt 158 lệnh. Các mô hình cũng thể hiện xu hướng ra quyết định khác nhau, với Claude ưa thích vị thế mua dài hạn và Gemini có xu hướng bán khống. Mặc dù gặp nhiều thách thức, một số mô hình như ChatGPT đã thể hiện tiềm năng trong các lĩnh vực cụ thể, đạt tỷ lệ chính xác 68% trong việc dự đoán hướng dự báo lợi nhuận cho quý 4 năm 2025. Những hạn chế của các mô hình giao dịch AI được cho là do chúng không thể đánh giá hiệu quả nhiều yếu tố ảnh hưởng đến giá cổ phiếu, dẫn đến các vấn đề như thời điểm giao dịch kém và giao dịch quá mức. Khi các phương pháp kiểm tra lại truyền thống không phù hợp với các mô hình ngôn ngữ lớn (LLM), việc thử nghiệm trên thị trường trực tiếp vẫn là phương pháp đánh giá chính. Nof1 dự định nâng cấp các mô hình AI của mình cho mùa giải tiếp theo của Alpha Arena bằng cách cung cấp thêm nguồn dữ liệu và khả năng, mặc dù công ty tập trung cung cấp công cụ cho các nhà giao dịch bán lẻ thay vì triển khai AI trực tiếp trên sàn giao dịch.