Home Tecnologia Meta lancia modelli Llama più leggeri per dispositivi a basso consumo

Meta lancia modelli Llama più leggeri per dispositivi a basso consumo

0
Meta lancia modelli Llama più leggeri per dispositivi a basso consumo

Meta rilascia versioni leggere dei modelli Llama 3.2. È stato sviluppato per dispositivi a bassa potenza.

Meta mira a rendere popolari i grandi modelli linguistici open source 3.2 1B e Llama 3B con queste versioni leggere, progettate specificamente per dispositivi a basso consumo. I modelli possono funzionare con fonti ad alta efficienza energetica e fornire comunque prestazioni solide.

Modelli quantitativi

Il team AI di Meta ha confermato che i modelli sono progettati per “applicazioni a breve contesto fino a 8K”, a causa della memoria limitata sui dispositivi mobili. La quantizzazione dei modelli linguistici ne riduce le dimensioni regolando la precisione dei pesi del modello.

Gli sviluppatori hanno utilizzato un paio di metodi diversi, tra cui la “formazione basata sulla quantizzazione con trasformatori LoRA”. QLoRA aiuta a migliorare le prestazioni in ambienti a bassa risoluzione. Se il modello tende a concentrarsi sulla portabilità a scapito delle prestazioni, è possibile utilizzare SpinQuant. Ciò migliora la compressione per semplificare il trasferimento del modello su dispositivi diversi.

Meta, in collaborazione con Qualcomm e MediaTek, ha migliorato i modelli hardware system-on-chip basati su Arm. Grazie all’ottimizzazione utilizzando il kernel AI Kleidi, i modelli possono funzionare su CPU mobili. Ciò rende possibili applicazioni AI più rispettose della privacy, poiché tutte le operazioni vengono eseguite localmente sul dispositivo.

I modelli in quantità di Llama 3.2 1B e Llama 3B possono essere scaricati a partire da oggi tramite Llama.com e Hugging Face. Meta ha anche lanciato modelli per l’editing video all’inizio di questa settimana.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

indian xex video goporns.info 9xbudy fapility porndoze.mobi bangla blue video san se fang hentaitgp.org brwaling go www.sexy girls.com freshxxxtube.info indian seksi video x video pune thempeg.mobi kannadasix
gud mara vedio pornsharing.mobi sex freeporn tamil vedio sex redwap3.com xxxsexindian xnxx teachers liebelib.net indian hot porn افلام سكس ام وبنتها samyporn.com سكس مجانى مصرى www.porneq porn-tube-box.com nipples bite
mallu xx video pornview.org bf com picture masalaclips.org anybunny.mobi www.telgu sex.com اللعب فى الطيز sexuscam.net سكس اكس موفيز sexy vedyo gansta-xxx-porn.net mia khalifasex ang probinsyano december 22 2021 full episode onlineteleserye.net young benjie paras