Meta ha sviluppato un nuovo linguaggio AI, e lo sta condividendo gratuitamente

L’AI Lab di Meta ha creato un sistema di linguaggio su larga scala, e lo sta donando gratuitamente ai ricercatori interessati.

Questo modello ricorda sia le impressionanti abilità che gli aspetti problematici del language generator pioneristico di OpenAI, GPT-3, che già nel 2020 aveva proposto un modello simile rivoluzionando il settore, non senza qualche grossa criticità e dubbio etico.

I modelli di linguaggio sono potenti programmi in grado di generare paragrafi di testo e riprodurre fedelmente la conversazione umana grazie all’intelligenza artificiale e il machine learning – e sono diventati rapidamente uno dei trend più hot degli ultimi anni in ambito informatico.

text to text or embedding language model

Nonostante le enormi potenzialità, hanno anche dei grossi difetti, favorendo disinformazione, cedendo facilmente a pregiudizi, bias e linguaggio problematico e offensivo.

Una mossa senza precedenti nel settore dell’AI

Quella di Meta è sicuramente una mossa senza precedenti per le aziende Big Tech, che da sempre tengono molto alla segretezza. Meta infatti non solo sta donando gratuitamente il nuovo modello, ma anche dettagli di come è stato creato e “istruito”, adottando la più totale trasparenza.

Lo scopo dietro a questa mossa, a detta di Meta, è democratizzare l’accesso a modelli di linguaggio su larga scala.

“Crediamo fortemente che l’abilità delle persone di analizzare il nostro lavoro sia una parte importante della ricerca. Incoraggiamo decisamente questo tipo di collaborazione”

Queste le parole di Joelle Pineau, managing director per Meta AI e attivista per la trasparenza nello sviluppo delle tecnologie.

Si tratterà della prima volta nella storia in cui un modello di linguaggio completo e “fully-trained” viene messo a disposizione liberamente a qualunque ricercatore voglia studiarlo. Per questo motivo, la notizia è stata accolta con entusiasmo da quella parte della comunità scientifica preoccupata dal fatto che questo tipo di tecnologie potentissime siano sviluppate “a porte chiuse” da piccoli team esclusivi.

about inner

Le potenzialità di un modello di linguaggio “condiviso”

Mettere un maggior numero di persone al lavoro sul problema dovrebbe aiutare a sviluppare questi modelli in maniera ottimale.

Fino ad ora, progetti su questa scala erano una prerogativa delle tech companies più grosse – e soprattutto ricche – a causa della grande potenza richiesta ai computer per processare una quantità di dati così massiccia nella fase di apprendimento.

Oltre a questo finora la comunità dei ricercatori nel senso più largo del termine, che include eticisti e studiosi delle scienze sociali, aveva solo potuto guardare ai modelli di linguaggio dall’esterno senza intervenirvi attivamente, nè avere voce in capitolo.

La speranza è che ora si potrà avere un maggiore controllo anche sugli aspetti etici e prettamente sociali che una tecnologia del genere include.

Un modello AI libero, ma non commercializzabile

Il modello di Meta, chiamato OPT (Open Pretrained Transformer), sarà disponibile per scopi non commerciali. Verrà rilasciato anche il suo codice e l’intero registro che documenta il processo di training.

Il registro è lungo 100 pagine e contiene update giornalieri da parte dei membri del team su tutti i dati presenti relativi al training: come sono stati aggiunti al modello e quando, cosa ha funzionato e cosa no, etc.

Nel registro sono registrati tutti i bug, crash e reboot avvenuti in un periodo di training di tre mesi – da Ottobre 2021 a Gennaio 2022 – in cui i computer hanno lavorato nonstop.

Seguite il nostro blog Piano Sito Web per aggiornamenti e news dal mondo informatico.