Tether hat innerhalb von QVAC Fabric ein plattformübergreifendes BitNet LoRA Fine-Tuning-Framework eingeführt, das darauf ausgelegt ist, das Training und die Inferenz von Microsoft BitNet (1-Bit LLM)-Modellen zu optimieren. Diese Innovation ermöglicht das Training und Fine-Tuning von Modellen mit Milliarden von Parametern auf Verbrauchergeräten wie Laptops, GPUs für den Endverbraucher und Smartphones. Besonders bemerkenswert ist, dass BitNet-Modelle auf mobilen GPUs, darunter Adreno, Mali und Apple Bionic, feinabgestimmt werden können, was einen bedeutenden Fortschritt in den mobilen KI-Fähigkeiten darstellt. Das Framework unterstützt heterogene Hardware, einschließlich Intel, AMD und Apple Silicon, und ist das erste, das 1-Bit LLM LoRA Fine-Tuning auf Nicht-NVIDIA-Geräten ermöglicht. Leistungstests zeigen, dass die Inferenz von BitNet-Modellen auf mobilen GPUs 2 bis 11 Mal schneller ist als auf CPUs, wobei der VRAM-Verbrauch im Vergleich zu herkömmlichen 16-Bit-Modellen um bis zu 77,8 % reduziert wird. Tether hebt hervor, dass diese Technologie die Abhängigkeit von leistungsstarker Rechenleistung und Cloud-Infrastruktur verringern und die Dezentralisierung sowie Lokalisierung im KI-Training fördern könnte.