Nous Research ha introducido un nuevo método de preentrenamiento para modelos grandes, llamado Entrenamiento de Apilamiento de Tokens (TST), que tiene como objetivo reducir el tiempo de preentrenamiento comprimiendo tokens adyacentes en paquetes. Este método, validado en modelos de hasta 10 mil millones de parámetros, acelera el entrenamiento de 2 a 3 veces bajo el mismo presupuesto computacional. Sin embargo, surgió controversia ya que el mecanismo de TST se asemeja mucho a una publicación de 2024, lo que llevó a acusaciones de plagio. Tras la publicación de su artículo, Nous Research reconoció las similitudes con el trabajo anterior, describiéndolo como un "desafortunado caso de investigación convergente." Se han comprometido a actualizar su artículo con las citas apropiadas para abordar estas preocupaciones. El método TST, aunque innovador, podría enfrentar limitaciones si los corpus de texto de alta calidad escasean, debido a su naturaleza intensiva en datos.