PaLM 2 Google rivoluziona l'Intelligenza Artificiale?

PaLM 2 rappresenta la nuova generazione dei modelli di linguaggio di grandi dimensioni, ed è il frutto dell'innovativa ricerca di Google nel campo dell'apprendimento automatico e dell'intelligenza artificiale responsabile.

Si distingue per la sua eccellente performance in attività di ragionamento avanzato, quali codificazione e matematica, classificazione e risposta alle domande, traduzione e competenza multilingue, e generazione di linguaggio naturale. Queste capacità superano quelle dei precedenti modelli di linguaggio di grandi dimensioni (LLM), incluso il predecessore PaLM, grazie a una combinazione di scalabilità ottimale del calcolo, un insieme di dati migliorato e perfezionamenti dell'architettura del modello.

PaLM 2 riflette l'approccio di Google alla creazione e all'implementazione responsabile dell'intelligenza artificiale. È stato rigorosamente valutato per potenziali danni e pregiudizi, e per le sue capacità e applicazioni downstream nella ricerca e nei prodotti. Trova applicazione in altri modelli all'avanguardia, come Med-PaLM 2 e Sec-PaLM, e alimenta funzionalità e strumenti di intelligenza artificiale generativa su Google, come Bard e l'API PaLM.

PaLM 2 dimostra un'abilità superiore nel scomporre compiti complessi in sottocompiti più gestibili, e una comprensione più sofisticata delle sfumature del linguaggio umano rispetto ai precedenti LLM, come PaLM. Ad esempio, PaLM 2 è particolarmente abile nel comprendere enigmi e modi di dire, che richiedono l'interpretazione di significati ambigui e figurati delle parole, al contrario di un'interpretazione letterale.

Con un pre-addestramento su testi paralleli multilingue e su un corpus di lingue molto più ampio rispetto al suo predecessore, PaLM 2 eccelle nei compiti multilingue.

PaLM 2, grazie al pre-addestramento su un vasto volume di pagine web, codice sorgente e altri insiemi di dati, eccelle nella manipolazione di linguaggi di programmazione popolari come Python e JavaScript, e può generare codice specializzato in linguaggi come Prolog, Fortran e Verilog. Questa capacità, combinata con le sue competenze linguistiche, può favorire la collaborazione dei team in più lingue.

La valutazione di PaLM 2 evidenzia risultati all'avanguardia in attività di benchmark di ragionamento come WinoGrande e BigBench-Hard. Questo modello si rivela più multilingue rispetto al suo predecessore, PaLM, ottenendo risultati superiori su benchmark come XSum, WikiLingua e XLSum. Inoltre, PaLM 2 mostra un miglioramento notevole nella capacità di traduzione rispetto a PaLM e Google Translate, in particolare per lingue come il portoghese e il cinese.

Continuando lo sviluppo responsabile dell'IA, l'accento sulla sicurezza è rimasto una priorità per PaLM 2. Durante la fase di pre-addestramento, le informazioni sensibili di identificazione personale sono state rimosse e i documenti duplicati sono stati filtrati per ridurre la memorizzazione. Inoltre, è stata condivisa un'analisi di come le persone vengono rappresentate nei dati di pre-formazione.

PaLM 2 presenta nuove funzionalità, tra cui una migliorata capacità di classificazione della tossicità multilingue e un controllo integrato sulla generazione di contenuti tossici.

Sono state condotte per valutare potenziali danni e pregiudizi in una serie di potenziali usi downstream per PaLM 2. Questi includono dialogo, classificazione, traduzione e risposta alle domande. Parte di questo processo ha incluso lo sviluppo di nuove valutazioni per misurare i potenziali danni nelle impostazioni generative di risposta alle domande e nelle impostazioni di dialogo, in particolare in relazione ai danni del linguaggio tossico e al pregiudizio sociale correlato ai termini di identità.