PaLM-E un embodied multimodal language model

Un nuovo modello di robotica generalista che superi questi problemi trasferendo la conoscenza da vari domini visivi e linguistici a un sistema robotico.  

PaLM, un potente modello di linguaggio di grandi dimensioni,  integrato con i dati dei sensori del mondo robotico.  Questa è la differenza fondamentale rispetto a sistemi precedenti che porta modelli linguistici di grandi dimensioni nella robotica: piuttosto che fare affidamento solo sull'input testuale, con PaLM-E addestriamo il modello linguistico per ingerire direttamente flussi grezzi di dati dei sensori del robot.  Il modello risultante non solo consente un apprendimento del robot altamente efficace, ma è anche un modello di linguaggio visivo generico all'avanguardia, pur mantenendo eccellenti capacità di attività solo linguistiche.