Meta lancia modelli Llama più leggeri per dispositivi a basso consumo

Meta rilascia versioni leggere dei modelli Llama 3.2. È stato sviluppato per dispositivi a bassa potenza.

Meta mira a rendere popolari i grandi modelli linguistici open source 3.2 1B e Llama 3B con queste versioni leggere, progettate specificamente per dispositivi a basso consumo. I modelli possono funzionare con fonti ad alta efficienza energetica e fornire comunque prestazioni solide.

Modelli quantitativi

Il team AI di Meta ha confermato che i modelli sono progettati per “applicazioni a breve contesto fino a 8K”, a causa della memoria limitata sui dispositivi mobili. La quantizzazione dei modelli linguistici ne riduce le dimensioni regolando la precisione dei pesi del modello.

Gli sviluppatori hanno utilizzato un paio di metodi diversi, tra cui la “formazione basata sulla quantizzazione con trasformatori LoRA”. QLoRA aiuta a migliorare le prestazioni in ambienti a bassa risoluzione. Se il modello tende a concentrarsi sulla portabilità a scapito delle prestazioni, è possibile utilizzare SpinQuant. Ciò migliora la compressione per semplificare il trasferimento del modello su dispositivi diversi.

Meta, in collaborazione con Qualcomm e MediaTek, ha migliorato i modelli hardware system-on-chip basati su Arm. Grazie all’ottimizzazione utilizzando il kernel AI Kleidi, i modelli possono funzionare su CPU mobili. Ciò rende possibili applicazioni AI più rispettose della privacy, poiché tutte le operazioni vengono eseguite localmente sul dispositivo.

I modelli in quantità di Llama 3.2 1B e Llama 3B possono essere scaricati a partire da oggi tramite Llama.com e Hugging Face. Meta ha anche lanciato modelli per l’editing video all’inizio di questa settimana.