Sakana AI la sintesi di 500.000 modelli open source
Il focus della ricerca in Sakana AI si posiziona nell'ambito dell'applicazione di idee ispirate alla natura, come l'evoluzione e l'intelligenza collettiva, al fine di creare nuovi modelli fondamentali. La tecnologia in sviluppo attuale mira a utilizzare l'evoluzione per automatizzare lo sviluppo di modelli fondamentali con capacità specifiche adatte a domini applicativi definiti dagli utenti. L'obiettivo non è soltanto addestrare un modello particolare, ma creare un meccanismo che generi automaticamente modelli fondamentali.
Sakana AI ha annunciato il rilascio del rapporto "Evolutionary Optimization of Model Merging Recipes". Questo rappresenta il primo significativo passo verso il raggiungimento dell'obiettivo prefissato.
Nel rapporto si presenta il "Merge di Modelli Evolutivi", un metodo che utilizza tecniche evolutive per scoprire le migliori strategie di combinazione di diversi modelli open-source. Ad oggi, Hugging Face annovera oltre 500.000 modelli, ciascuno con capacità uniche. Il metodo di Sakana AI sfrutta l'intelligenza collettiva di questi modelli per creare automaticamente nuovi modelli fondamentali con le capacità desiderate.
Attraverso questo approccio, si sono scoperti modi nuovi e non banali per fondere modelli di domini molto diversi. Ad esempio, è stato possibile creare automaticamente un Large Language Model (LLM) giapponese per il ragionamento matematico e un Modello Visione-Linguaggio (VLM) giapponese. Entrambi hanno raggiunto risultati eccellenti in diverse benchmark LLM e Vision.
L'EvoLLM-JP, un modello con 7 miliardi di parametri, ha superato le prestazioni di alcuni LLM giapponesi da 70 miliardi di parametri. Analogamente, l'EvoVLM-JP ha mostrato eccellenti capacità nel gestire contenuti specifici della cultura giapponese.
Il rapporto si sofferma anche sul metodo per estendere l'approccio ai Modelli di Generazione di Immagini a Diffusione, con risultati promettenti in termini di qualità e velocità. Sono stati creati, per esempio, modelli SDXL giapponesi ottimizzati per operare in soli quattro passaggi di diffusione. Sakana AI ha applicato questo metodo per sviluppare tre modelli fondamentali potenti per il Giappone:
- Large Language Model (EvoLLM-JP)
- Vision-Language Model (EvoVLM-JP)
- Image Generation Model (EvoSDXL-JP)
Questi risultati rappresentano un importante passo avanti nella ricerca AI e nell'applicazione di tecniche evolutive nel campo dei modelli fondamentali, aprendo la strada a nuove possibilità nel settore dell'intelligenza artificiale. Sakana AI, con il sostegno del governo giapponese, è pronta a spingere ulteriormente questa ricerca, sfidando il paradigma corrente dello sviluppo costoso dei modelli.