La nuova ricerca sull’intelligenza artificiale introduce EXPHORMER: un framework per ridimensionare i trasformatori grafici riducendo i costi

I trasformatori di grafici sono un tipo di algoritmo di apprendimento automatico che opera su dati strutturati graficamente. I grafici sono strutture matematiche composte da nodi e spigoli, dove i nodi rappresentano entità e gli spigoli rappresentano le relazioni tra tali entità.

I trasformatori di grafici vengono utilizzati in varie applicazioni, tra cui l’elaborazione del linguaggio naturale, l’analisi dei social network e la visione artificiale. Viene comunemente utilizzato per la classificazione dei nodi, la previsione della correlazione e le attività di clustering dei grafici.

Un tipo comune di trasformatore grafico è il Graph Convolutional Network (GCN), che applica filtri convoluzionali a un grafico per estrarre caratteristiche da nodi e spigoli. Altri tipi di trasformatori di grafi includono le reti di interesse del grafo (GAT), le reti di omologia del grafo (GIN) e le reti neurali del grafo (GNN).

I trasformatori di grafici si sono dimostrati molto promettenti nell’apprendimento automatico, in particolare per le attività di dati strutturati a grafo.

I trasformatori di grafici si sono dimostrati promettenti in varie attività di apprendimento di grafici e rappresentazioni. Tuttavia, il ridimensionamento a grafici più grandi pur mantenendo un’accuratezza competitiva con le reti di scambio di messaggi rimane una sfida. Per affrontare questo problema, un nuovo framework chiamato EXPHORMER è stato introdotto da un gruppo di ricercatori dell’Università della British Columbia, di Google Research e dell’Alberta Machine Intelligence Institute. Questo framework utilizza un meccanismo di attenzione sparsa basato su nodi globali virtuali e grafi estesi, che possiedono proprietà matematiche desiderabili come l’ampliamento spettrale, il contrasto e la pseudo-casualità. Di conseguenza, EXPHORMER consente di creare trasformatori grafici potenti e scalabili con complessità lineare delle dimensioni del grafico fornendo al contempo proprietà teoriche per i modelli risultanti. L’incorporazione di EXPHORMER in GraphGPS produce modelli con risultati empirici competitivi su vari set di dati grafici, inclusi tre set di dati recenti. Inoltre, EXPHORMER è in grado di gestire grafici più grandi rispetto alle precedenti architetture di convertitori di grafici.

Exphormer è un metodo che applica un meccanismo di attenzione sparsa basato sull’espansore ai trasformatori di grafi (GT). Costruisce un grafico di interazione utilizzando tre componenti principali: Expanding Graph Interest, Global Interest e Local Neighbor Interest. Il grafico esteso di attenzione consente di diffondere le informazioni tra i nodi senza collegare tutte le coppie di nodi. Global Attention aggiunge nodi virtuali per creare un “pool di archiviazione” globale e fornisce funzioni di approssimazione globale per switch completi. Moduli di interesse del quartiere locale Moduli di interazione locale per le informazioni di contatto.

Il loro studio sperimentale ha valutato il metodo Exphormer nelle attività di previsione di grafi e nodi. Il team ha scoperto che Exphormer combinato con le reti neurali che passano messaggi (MPNN) nel framework GraphGPS ha prodotto risultati all’avanguardia su diversi set di dati di riferimento. Nonostante avesse meno parametri, ha aggirato tutti i meccanismi di attenzione sparsi ed è rimasto competitivo con gli switch densi.

I contributi chiave del team includono la proposta di meccanismi di attenzione sparsa con costi computazionali lineari nel numero di nodi e spigoli e l’introduzione di Exhormer, che combina due tecniche per creare grafi sovrapposti sparsi e presentare grafi estesi come un potente strumento primitivo nella progettazione di architetture di trasformatori di grafi scalabili. Sono stati in grado di dimostrare che Exphormer, che combina grafi espansi con nodi globali e quartieri locali, approssima spettralmente l’intero meccanismo attenzionale con solo un piccolo numero di strati e ha proprietà di approssimazione globale. L’Exphormer proposto si basa su ed eredita le proprietà desiderabili del framework modulare per GraphGPS, un framework introdotto di recente per la creazione di trasformatori grafici generici, a cascata e scalabili con complessità lineare. GraphGPS combina il tradizionale passaggio di messaggi locali con un meccanismo di attenzione globale, consentendo meccanismi di attenzione sparsi per migliorare le prestazioni e ridurre i costi di calcolo.

scansiona il carta E github. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di iscriverti 16k+ML Sub RedditE canale discordiaE Notiziario via e-maildove condividiamo le ultime notizie sulla ricerca sull’IA, fantastici progetti di intelligenza artificiale e altro ancora.