La fuga di notizie sul modello linguistico è stata pubblicata su 4chan. In precedenza l’accesso al modello era consentito solo a studiosi autorizzati, agenzie governative e membri della società civile.
L’enorme modello linguistico di Facebook, che di solito è accessibile solo a ricercatori autorizzati, funzionari governativi o membri della società civile, è pubblicato online ed è ora disponibile per il download da parte di chiunque.
Su 4chan, dove la settimana scorsa un utente ha pubblicato un file torrent per lo strumento di Facebook chiamato LLaMa (Large Language Model Meta AI), è stato fornito il modello linguistico.
Si tratta del primo caso di pubblicazione di un modello AI riservato di un’importante azienda tecnologica. Per evitare abusi, aziende come Google, Microsoft e OpenAI hanno finora limitato l’accesso ai loro modelli più recenti tramite interfacce utente o API. Sebbene gli utenti di 4chan affermino di aver eseguito LLaMa sui propri computer. Le implicazioni precise di questa violazione sono ancora sconosciute.
La violazione di Llama, il modello linguistico di Meta
La violazione di LLaMa è stata riconosciuta da Meta in una dichiarazione a Motherboard, e l’azienda ha mantenuto la sua politica di diffusione dei modelli tra gli accademici. Una portavoce di Meta ha dichiarato in una e-mail:
“La missione di Meta è condividere modelli di intelligenza artificiale all’avanguardia con i ricercatori, in modo che possano aiutarci a valutarli e migliorarli. Analogamente a come abbiamo rilasciato i nostri precedenti modelli linguistici di grandi dimensioni, LLaMA è condiviso per motivi di ricerca. Riteniamo che l’attuale metodo di rilascio ci consenta di raggiungere un equilibrio tra responsabilità e apertura- Anche se il modello non è disponibile per tutti e alcuni hanno tentato di eludere il processo di approvazione”
“Avete altre informazioni sulla fuga di notizie di LLaMa? Lo utilizzate per i vostri progetti? Mettetevi in contatto con noi. Potete contattare Joseph Cox in modo sicuro su Signal al numero +44 20 8133 5190- Su Wickr all’indirizzo josephcox. Via e-mail all’indirizzo joseph.cox@vice.com utilizzando un telefono o un computer non da lavoro.”
Il fondamento di LLaMa, come quello di altri modelli di intelligenza artificiale, come GPT-3 di OpenAI, è un consistente database di frammenti di parole, o “token”. Secondo quanto riportato da Meta in un post sul blog di febbraio, LLaMa può prendere in input una serie di parole e anticipare la parola successiva per produrre ricorsivamente un nuovo testo. Le due versioni più grandi di LLaMa, LLaMa 65B e LLaMa 33B, sono state addestrate utilizzando 1,4 trilioni di token. Il modello è stato addestrato utilizzando set di dati raccolti da Wikipedia, libri, articoli accademici di ArXiv, GitHub, Stack Exchange e altri siti web, secondo la scheda del modello LLaMA.
Per “proteggere l’integrità e prevenire l’uso improprio”, Meta pubblica LLaMa con una licenza non commerciale incentrata sui casi d’uso della ricerca.
La diffusione di Llama
Secondo l’articolo, i ricercatori accademici, le persone associate a organizzazioni governative, della società civile e del mondo accademico, nonché i laboratori di ricerca aziendali di tutto il mondo, potranno accedere al modello caso per caso. La pubblicazione pubblica del LaMa ha reso inefficaci tali garanzie.
“Riteniamo che l’intera comunità dell’IA, compresi i ricercatori accademici, la società civile, i governi e l’industria, debba sviluppare regole chiare sull’IA responsabile in generale e sui modelli linguistici responsabili in particolare. Siamo entusiasti di vedere ciò che la comunità può creare e imparare utilizzando LLaMA”, continua il post sul blog di Meta.
Per impedire che il modello si diffonda, sembra che Meta stia presentando online delle richieste di rimozione.
L’amministratore delegato di Hugging Face, Clement Delangue, ha condiviso su GitHub un aggiornamento del personale relativo al repository LLaMa di un utente. L’avviso recitava:
“La società Meta Platforms, Inc. ha richiesto la rimozione di questo modello pubblicato. Classificandolo come una distribuzione illegale di Meta Properties. Ciò costituisce una violazione del copyright o un uso improprio/non autorizzato”.
Delangue ha consigliato di non pubblicare online i pesi LLaMa. Il repository GitHub dell’utente segnalato non è attualmente disponibile.