Tether ha introducido un marco de ajuste fino BitNet LoRA multiplataforma dentro de QVAC Fabric, diseñado para optimizar el entrenamiento y la inferencia de los modelos Microsoft BitNet (LLM de 1 bit). Esta innovación permite el entrenamiento y ajuste fino de modelos con miles de millones de parámetros en dispositivos de consumo como laptops, GPUs de grado consumidor y smartphones. Notablemente, permite que los modelos BitNet se ajusten finamente en GPUs móviles, incluyendo Adreno, Mali y Apple Bionic, marcando un avance significativo en las capacidades de IA móvil.
El marco soporta hardware heterogéneo, incluyendo Intel, AMD y Apple Silicon, y es el primero en facilitar el ajuste fino LoRA de LLM de 1 bit en dispositivos que no son NVIDIA. Las pruebas de rendimiento indican que la inferencia del modelo BitNet en GPUs móviles es de 2 a 11 veces más rápida que en CPUs, con un uso de VRAM reducido hasta en un 77.8% en comparación con los modelos tradicionales de 16 bits. Tether destaca que esta tecnología podría reducir la dependencia de la potencia computacional de alto nivel y la infraestructura en la nube, promoviendo la descentralización y localización en el entrenamiento de IA.
Tether presenta el marco BitNet LoRA para el entrenamiento de modelos de mil millones de parámetros en dispositivos de consumo
Aviso legal: El contenido de Phemex News es únicamente informativo.No garantizamos la calidad, precisión ni integridad de la información procedente de artículos de terceros.El contenido de esta página no constituye asesoramiento financiero ni de inversión.Le recomendamos encarecidamente que realice su propia investigación y consulte con un asesor financiero cualificado antes de tomar cualquier decisión de inversión.
