A Tether introduziu uma estrutura de ajuste fino BitNet LoRA multiplataforma dentro do QVAC Fabric, projetada para otimizar o treinamento e a inferência dos modelos Microsoft BitNet (LLM de 1 bit). Essa inovação permite o treinamento e ajuste fino de modelos com bilhões de parâmetros em dispositivos de consumo, como laptops, GPUs de nível consumidor e smartphones. Notavelmente, possibilita que os modelos BitNet sejam ajustados em GPUs móveis, incluindo Adreno, Mali e Apple Bionic, marcando um avanço significativo nas capacidades de IA móvel.
A estrutura suporta hardware heterogêneo, incluindo Intel, AMD e Apple Silicon, e é a primeira a facilitar o ajuste fino LoRA de LLM de 1 bit em dispositivos não NVIDIA. Testes de desempenho indicam que a inferência do modelo BitNet em GPUs móveis é de 2 a 11 vezes mais rápida do que em CPUs, com uso de VRAM reduzido em até 77,8% em comparação com modelos tradicionais de 16 bits. A Tether destaca que essa tecnologia pode reduzir a dependência de poder computacional de alto desempenho e infraestrutura em nuvem, promovendo a descentralização e a localização no treinamento de IA.
Tether Lança o Framework BitNet LoRA para Treinamento de Modelos com Bilhões de Parâmetros em Dispositivos de Consumo
Aviso Legal: O conteúdo disponibilizado no Phemex News é apenas para fins informativos. Não garantimos a qualidade, precisão ou integridade das informações provenientes de artigos de terceiros. Este conteúdo não constitui aconselhamento financeiro ou de investimento. Recomendamos fortemente que você realize suas próprias pesquisas e consulte um consultor financeiro qualificado antes de tomar decisões de investimento.
