Gemini 4 Argon per la robotica: Google mostra il controllo dei robot e i gemelli simulati
Il 13 ottobre 2026 Google ha pubblicato sul Google Developers Blog un post di Kanishka Rao, Principal Software Engineer, sull’uso di Gemini 4 Argon nella robotica. Il modello è presentato come un sistema generalista di ragionamento fisico, applicabile a tutto il ciclo di sviluppo di un robot: controllo, ricostruzione di scene simulate, comprensione dei video e miglioramento tramite simulazione. Ne avevamo parlato in occasione del lancio e dei prezzi dell’API.
Il salto nel ragionamento fisico secondo Google
Google descrive Argon come un passo avanti nella comprensione fisica, nella generazione di codice e nel ragionamento visivo-semantico, in vista della «physical AGI». Il post cita il benchmark Embodied Reasoning (ERQA), che misura la capacità di risolvere problemi fisici e spaziali in ambienti 3D.
Con puro ragionamento Argon ottiene l’87%, e secondo Google supera ogni altro modello di frontiera.
Controllo dei robot: dal quadrupede ai modelli del mondo video
Il post organizza gli esempi in quattro aree: controllo, Real2Sim, comprensione fisica, ricerca e auto-miglioramento. Sul controllo i casi sono tre.
- Un quadrupede Boston Dynamics Spot (gambe a 12 gradi di libertà, braccio a 6) impara a pestare il pedale di un cestino per buttare lattine di soda. Argon crea un gemello digitale MuJoCo del cestino e ci si esercita prima di agire sul pedale vero.
- Controllo zero-shot di un braccio robotico semplice: rimette in piedi una tazza caduta e vi infila un tovagliolo accartocciato. Il compito si svolge in più turni, con un reticolo di coordinate visive e primitive d’azione inviate a un’interfaccia locale.
- Argon guida il Gemini Omni World Model in un ciclo visivo chiuso: scrive prompt d’azione con timestamp, guarda i fotogrammi intermedi e li corregge. Nell’esempio riordina cinque tessere Scrabble a comporre A-R-G-O-N, in una simulazione di 33 passi.
Real2Sim: robot, video umano e schizzo a penna
La seconda area è la ricostruzione di gemelli simulati calibrati, in tre varianti.
- Da un episodio di teleoperazione reale: Argon costruisce una scena MuJoCo e ne regola oggetti e contatti finché immagini e forze tattili simulate coincidono con quelle registrate. Il prompt vieta i «trucchi»: niente forze esterne sugli oggetti, niente modifiche al modello dopo l’istante iniziale. Chiede anche un visualizzatore HTML interattivo.
- Da un video egocentrico umano: individua gli oggetti rilevanti, sostituisce i riquadri grezzi con mesh convesse composte per i contenitori concavi e trasferisce il movimento della mano su un umanoide bimanuale a 76 gradi di libertà, con mani a 22, in MuJoCo a 500 Hz.
- Da una foto di uno schizzo: costruisce una scena mujoco_warp, accelerata su GPU, e sintetizza un lancio a 50 Hz (140 passi, 2,80 secondi) per far cadere una piramide di 6 scatole. La verifica in fisica chiusa dà 6 scatole su 6 abbattute, con deriva del bacino sotto i 3 cm, e il risultato viene esportato in un render Blender 4.5 Cycles.
Capire i video di addestramento: etichette e funzione di valore
Sulla comprensione fisica Google parte da un video di 136 secondi in cui un robot ALOHA 2 piega un origami a forma di volpe. Argon produce annotazioni su quattro livelli: obiettivo dell’episodio, 6 sottocompiti, 17 primitive atomiche e un controllo qualità. Quest’ultimo tiene fermo l’avanzamento durante errori e ripetizioni; il prompt chiede di ridurre il peso di quei tratti (da 0,15x a 0,25x) nell’addestramento per behavior cloning.
Come funzione di valore generale, Argon è stato provato su un episodio di 60 secondi di smistamento di anelli, tratto da un dataset umano UMI con tre telecamere. Genera previsioni dense di avanzamento e divide il video in 28 segmenti con pendenza positiva, neutra o negativa.
Tra gli esempi c’è anche il rompicapo delle 12 palline. Argon costruisce un ambiente MuJoCo con due bracci Franka FR3 e una bilancia a due piatti, poi scrive un risolutore a sola visione, con telecamere stereo RGB e senza osservazioni privilegiate. Il compito è isolare la pallina diversa in al massimo 3 pesate.
Più dati dalla simulazione: i numeri dichiarati
Nell’area ricerca Google racconta di essere partita da una singola foto RGB di un tavolo. Argon ha costruito un gemello MuJoCo calibrato, definito nuovi compiti e raccolto oltre 4.500 episodi con randomizzazione di dominio, per migliorare modelli visione-linguaggio-azione generalisti.
| Misura sul robot reale | Prima | Dopo |
|---|---|---|
| Tasso di successo | 56% | 75% |
| Tempo di completamento | 35 s | 24 s |
Il post cita anche l’auto-miglioramento iterativo su hardware.
Un altro approccio: la Pi API di Physical Intelligence
Lo stesso 13 ottobre Physical Intelligence ha aperto la beta della Pi API, come racconta sul proprio blog. Lì si caricano i dati, si avvia il fine-tuning dei modelli π su infrastruttura gestita dall’azienda e si usa l’inferenza tramite un gateway ospitato. Abbiamo raccontato la beta della Pi API in un pezzo a parte.
