Nous Research는 전통적으로 대형 언어 모델에서 사용되던 토크나이저가 곧 쓸모없게 될 수 있다는 연구 결과를 발표했습니다. 17억 개 매개변수 모델을 대상으로 한 이 연구는 토크나이제이션의 이점을 바이트 수준에서 효과적으로 시뮬레이션할 수 있음을 보여주었습니다. 데이터 처리량을 증가시키고 형태학적 경계를 바이트 기반 모델에 통합함으로써 성능 격차가 크게 줄어들었습니다. 연구 결과, 시뮬레이션된 압축은 단계별 그래디언트 처리를 향상시켜 검증 손실을 현저히 감소시켰습니다. 또한 연구진은 하위 단어 경계를 이진 시퀀스로 인코딩하여 미래 정보를 누출하지 않으면서 장기적인 귀납적 편향을 확립하는 방법도 탐구했습니다. 더 큰 매개변수 규모에서의 효과는 추가 검증이 필요하지만, 17억 규모 연구에서는 어휘 매개변수 확장과 하위 단어 예측 같은 다른 메커니즘에서 제한적인 이점만을 보였습니다. 이는 처리량과 형태학적 사전 지식에 중점을 둔 토크나이저 없는 모델로의 전환을 시사합니다.