Новая статья Ричарда Саттона и его коллег из Университета Альберты и Института Openmind посвящена проблеме "потокового барьера" в обучении с подкреплением. Исследование под названием "Целенаправленные обновления для потокового обучения с подкреплением" утверждает, что коренной причиной барьера является не недостаток данных, а неправильно выбранные единицы размера шага. Команда предлагает новый подход, при котором размер шага определяется желаемым изменением выходной функции, а не движением параметров, что повышает стабильность процессов обучения. В статье представлен метод "Целенаправленных обновлений", который задает предполагаемый результат каждого обновления, позволяя более точно контролировать процесс обучения. Этот подход показал многообещающие результаты, достигая производительности на уровне современных алгоритмов, таких как SAC, в задачах непрерывного управления без использования больших буферов повторного воспроизведения. Исследование подчеркивает потенциал потокового обучения с подкреплением как более адаптивной и экономичной парадигмы обучения, особенно для приложений с ограниченными вычислительными ресурсами.