Cựu sinh viên Đại học Tsinghua, Wang Guan và nhóm của ông đã giới thiệu HRM-Text, một phương pháp tiền huấn luyện mới thách thức các mô hình lớn truyền thống. Sử dụng Mô hình Hồi quy Phân cấp (HRM), HRM-Text đạt hiệu suất hàng đầu với tài nguyên tính toán giảm đáng kể. Mô hình sử dụng ít token huấn luyện hơn từ 100 đến 900 lần và ít tài nguyên tính toán hơn từ 96 đến 432 lần so với các mô hình có 2 tỷ đến 7 tỷ tham số, trong khi vẫn duy trì kết quả cạnh tranh trên các bộ chuẩn như MMLU và ARC-C. Kiến trúc của HRM-Text có mô hình hai thang thời gian, chia tính toán thành các mô-đun chậm và nhanh, cho phép cập nhật đệ quy nhiều lần trên mỗi token. Thiết kế này, kết hợp với các mục tiêu huấn luyện cụ thể, nâng cao hiệu quả tiền huấn luyện. Chi phí huấn luyện của mô hình khoảng 1.500 đô la, cho thấy tính hiệu quả về chi phí. Mặc dù đã đạt được nhiều thành tựu, các nhà phát triển HRM-Text thừa nhận cần nghiên cứu thêm để tách biệt kiến thức khỏi suy luận và khám phá các cơ chế thời gian tính toán thích ứng.