Nvidia presenta ENPIRE: i robot migliorano quasi da soli

Per ora Nvidia ha presentato ENPIRE, un nuovo sistema sperimentale messo a punto con Carnegie Mellon University e University of California, Berkeley (UC Berkeley). L’idea è permettere agli agenti software di migliorare quasi da soli nelle attività di manipolazione, con il minimo possibile di intervento umano. Stando allo studio, ENPIRE ha portato una flotta di robot fino al 99% di successo in alcuni compiti complessi, e Nvidia ha già detto di volerlo rilasciare come open source.

Addestrare i robot nel mondo reale, oggi, resta un processo lento, costoso e pieno di lavoro manuale.

ENPIRE punta in alto: provare a togliere di mezzo uno dei vincoli più pesanti della robotica applicata, cioè il bisogno continuo di persone che raccolgano dati, rimettano a posto gli oggetti dopo ogni errore e ritocchino gli algoritmi a mano a ogni iterazione.

Nel paper si legge che la piattaforma ENPIRE ha portato una flotta di robot a toccare fino al 99% di successo in compiti complessi come Push-T, lo smistamento, l’inserimento di perni e operazioni come il taglio o la chiusura di fascette.

Sempre nello studio, sul caso specifico dell’inserimento dei perni, ENPIRE avrebbe raggiunto il 100% di successo più in fretta rispetto a un approccio simile basato su supervisione umana costante.

Per adesso resta un progetto sperimentale, provato su hardware dedicato. Nvidia, però, ha già fatto sapere che vuole renderlo open source.

Come funziona ENPIRE e perché conta

Il nome completo del progetto è Embodied aNd Physical-world-aware agentIc Robot policy self-ImprovemEnt. In concreto, l’idea è costruire un ciclo di addestramento autonomo direttamente sull’hardware: il sistema rimette in ordine l’area di lavoro, prova una strategia, controlla com’è andata e aggiorna la policy del robot per il tentativo successivo.

Siamo lontani dai classici cicli di training che dipendono da una supervisione continua. Qui il punto è un altro: migliorare le capacità di manipolazione trasformando l’addestramento in una routine quasi continua.

Per chi lavora in questo settore, è un passaggio che pesa parecchio. Riduce uno dei costi più alti della robotica nel mondo reale.

Valutazioni automatiche e funzioni di ricompensa create dal sistema

Il progetto si divide in due fasi. Nella prima, l’agente definisce i limiti di sicurezza, prepara i reset automatici e imposta i controlli necessari per capire se un compito è stato portato a termine nel modo corretto.

C’è anche un altro pezzo, e non è secondario: l’agente genera da solo la propria funzione di ricompensa partendo da pochi minuti di video con esempi di esiti positivi e negativi.

Nel caso dell’inserimento di un perno, per esempio, la verifica del successo può basarsi sull’allineamento visivo, sull’altezza della pinza e sulla stima della forza applicata.

Per le fascette, invece, la valutazione usa due angolazioni di ripresa e, secondo i ricercatori, reagisce in meno di 150 millisecondi.

Colpisce anche questo meccanismo di generazione automatica della funzione di ricompensa, perché permette di costruire il criterio di valutazione senza doverlo riscrivere a mano ogni volta che cambia il compito.

La seconda fase: legge i paper, formula ipotesi e modifica il codice

Nella fase successiva, sempre secondo lo studio, il sistema si muove in modo molto più autonomo. ENPIRE legge articoli scientifici, formula ipotesi, modifica direttamente il codice di addestramento e decide di volta in volta quale metodo usare, per esempio clonazione comportamentale o apprendimento per rinforzo, in base ai segnali di successo che osserva nel mondo fisico.

È qui che ENPIRE si fa notare davvero. Non si ferma all’esecuzione di istruzioni già fissate: prova a capire come migliorare la strategia, poi la mette in pratica da solo.

Se si guarda alla parte più concreta, è questo il passaggio che separa il progetto da un semplice sistema automatico di esecuzione.

Otto stazioni robotiche che si passano i progressi via Git

Nvidia ha testato ENPIRE su una flotta di otto stazioni YAM a doppio braccio. Ogni stazione aveva il proprio computer e il proprio agente di programmazione.

Le varie unità potevano provare idee diverse in parallelo e poi condividere, tramite Git, le procedure di addestramento che producevano i risultati migliori.

Così un miglioramento trovato da una singola stazione può essere esteso rapidamente all’intera flotta, facendo accelerare il processo in modo sensibile.

Se una configurazione funziona, non resta chiusa dentro un solo robot. Passa agli altri molto più in fretta.

Il contesto Nvidia e le domande ancora aperte

ENPIRE si inserisce nella strategia più ampia di Nvidia nel campo della robotica, accanto a iniziative come Project GR00T, Jetson Thor e la piattaforma umanoide Isaac GR00T.

Le somiglianze con il progetto Eureka di Nvidia si vedono subito, ma ENPIRE sembra spingersi ancora più in là.

Il progetto riprende infatti anche quel lavoro precedente, in cui un modello generativo produceva programmi di ricompensa per l’addestramento dei robot, ottenendo risultati migliori di quelli scritti da esseri umani in oltre l’80% dei compiti testati e con miglioramenti superiori al 50%, almeno secondo quanto riportato da Nvidia.

Nvidia ha anche annunciato l’intenzione di rendere ENPIRE open source.

Restano però diverse domande aperte, e vale la pena affrontarle sul serio: sicurezza, affidabilità, impatto sul lavoro umano e implicazioni di sistemi capaci di scrivere ed eseguire codice da soli nel mondo fisico.

Per ora il segnale più netto è questo: la corsa verso robot sempre più autonomi sta accelerando.