Tether представила кроссплатформенный фреймворк для тонкой настройки BitNet LoRA в рамках QVAC Fabric, разработанный для оптимизации обучения и вывода моделей Microsoft BitNet (1-битный LLM). Эта инновация позволяет обучать и тонко настраивать модели с миллиардами параметров на потребительских устройствах, таких как ноутбуки, графические процессоры потребительского уровня и смартфоны. Особенно примечательно, что BitNet модели могут быть тонко настроены на мобильных GPU, включая Adreno, Mali и Apple Bionic, что является значительным прорывом в возможностях мобильного ИИ. Фреймворк поддерживает гетерогенное оборудование, включая Intel, AMD и Apple Silicon, и является первым, который позволяет выполнять 1-битную тонкую настройку LLM LoRA на устройствах, не относящихся к NVIDIA. Тесты производительности показывают, что вывод модели BitNet на мобильных GPU в 2–11 раз быстрее, чем на CPU, при этом использование видеопамяти сокращается до 77,8% по сравнению с традиционными 16-битными моделями. Tether подчеркивает, что эта технология может снизить зависимость от высокопроизводительных вычислительных мощностей и облачной инфраструктуры, способствуя децентрализации и локализации обучения ИИ.