L’Allen Institute for Artificial Intelligence annuncia OLMo: un modello di linguaggio aperto creato da scienziati per scienziati

L’Allen Institute for Artificial Intelligence (AI2) ha annunciato lo sviluppo di un rivoluzionario modello di linguaggio aperto chiamato AI2 OLMo (Open Language Model). OLMo sarà un moderno modello di linguaggio generativo su una scala di 70 miliardi di parametri, paragonabile ad altri grandi modelli di linguaggio. Il progetto dovrebbe essere completato entro il 2024. Mira a fornire alla comunità di ricerca l’accesso a tutti gli aspetti della creazione di modelli, promuovere la collaborazione e far progredire la scienza dei modelli linguistici.

AI2 collabora con aziende tecnologiche leader, tra cui AMD e CSC, per sviluppare OLMo. La collaborazione include lo sfruttamento delle capacità della GPU del supercomputer LUMI pre-exascale di AMD, noto per la sua efficienza energetica. Sfruttando la potenza di questo supercomputer ecologico, AI2 mira a creare un modello linguistico unico e aperto che consenta ai ricercatori di lavorare direttamente sui modelli linguistici per la prima volta.

Un aspetto chiave di OLMo è la sua apertura e accessibilità alla comunità di ricerca. AI2 prevede di rendere apertamente disponibili tutti gli elementi del progetto, inclusi dati, codice, curve di addestramento, criteri di valutazione e considerazioni etiche relative allo sviluppo del modello. Fornendo una trasparenza completa, AI2 intende consentire ai ricercatori di sviluppare e migliorare OLMo, consentendo progressi più rapidi e sicuri nel campo. L’obiettivo è sviluppare in modo collaborativo il miglior modello di linguaggio aperto a livello globale.

Il team AI2 assicura che OLMo diventi un modello veramente aperto che fornisce un valore unico alla comunità di ricerca sull’IA. Ogni componente creato per OLMo, inclusi i dati di addestramento, il codice, i pesi del modello, i punti di controllo intermedi e i lavaggi, sarà apertamente disponibile, ben documentato e ripetibile, con poche eccezioni e licenze appropriate. La strategia di rilascio per il modello e i relativi artefatti è attualmente in fase di sviluppo. Inoltre, AI2 prevede di creare una demo e rilasciare dati di interazione da utenti consenzienti.

Parallelamente allo sviluppo del modello, AI2 prenderà decisioni per aumentare l’usabilità e l’efficienza del modello senza compromettere le prestazioni. L’obiettivo è rendere OLMo accessibile a un’ampia gamma di ricercatori di intelligenza artificiale, promuovendo la diversità dei punti di vista e accelerando i miglioramenti nello sviluppo del modello linguistico. AI2 intende inoltre creare e rilasciare un set di dati di addestramento del modello rigorosamente ricercato e documentato, che include dati di pre-addestramento, dati di istruzione e dati di interazione umana.

Riconoscendo l’importanza delle considerazioni etiche, AI2 adotta un approccio pragmatico all’etica e all’apertura in tutto il progetto OLMo. Il team documenterà le decisioni, le preoccupazioni e i compromessi riguardanti le implicazioni etiche e sociali della creazione e del lancio del modello OLMo. AI2 migliora la conoscenza e la comprensione dell’IA condividendo progressi, sfide e scoperte. Esperti legali, sia interni che esterni, sono attivamente coinvolti nel processo di costruzione del modello per valutare le questioni relative alla privacy e ai diritti di proprietà intellettuale in più punti di controllo.

AI2 ha collaborato con organizzazioni come Surge AI e MosaicML per collaborare su dati e codice di formazione per OLMo. È stato istituito un comitato di revisione etica composto da consulenti interni ed esterni per fornire feedback durante tutto il progetto. Il modello e l’API OLMo saranno risorse preziose per la comunità più ampia, consentendo una migliore comprensione e partecipazione alla rivoluzione generativa dell’IA. AI2 accoglie con favore il supporto e le partnership di organizzazioni allineate con i suoi valori di intelligenza artificiale per tecnologie di intelligenza artificiale standard, ragionevoli, responsabili e utili.

scansiona il Articolo di riferimento. Non dimenticare di iscriverti 21k+ML Sottotitoli RedditE canale discordiaE E Notiziario via e-mail, dove condividiamo le ultime notizie sulla ricerca sull’IA, fantastici progetti di intelligenza artificiale e altro ancora. In caso di domande sull’articolo di cui sopra o se ci siamo persi qualcosa, non esitare a inviarci un’e-mail all’indirizzo [email protected]

🚀 Dai un’occhiata a 100’s AI Tools nell’AI Tools Club