Immaginate di chiedere a un robot di impilare dei blocchi seguendo un ordine preciso. Niente programmazione specifica, niente addestramento dedicato — solo un modello linguistico che ragiona, osserva e agisce. Funziona? Dipende dall’architettura che gli mettete intorno.
Il team di OpenRUA ha costruito uni-robot-agent, un’infrastruttura unificata che permette ai modelli linguistici di controllare robot senza informazioni privilegiate. Niente coordinate già calcolate dal simulatore, niente feedback oracolo su successo o fallimento, niente asset CAD degli oggetti. Solo immagini RGB, calibrazione della camera, propriocezione del robot e istruzioni testuali — il tipo di informazioni disponibili anche nel mondo reale.
I numeri: Qwen3.8-Flash-Next, un modello open-weight, raggiunge 31.39 punti su RoboDojo, superando il risultato pubblicato di GPT-6 Astra con RoboProbe (28.97). Unendo Astra a questa infrastruttura, il punteggio sale a 51.90. Sui robot fisici, Qwen arriva a 53.50 in zero-shot, battendo π₀.₅ fine-tuned (47.75) addestrato con dieci ore di dati per task. Con Astra si arriva a 80.50.
Un’interfaccia, molti ambienti
Il cuore del sistema è un set di strumenti condivisi: percezione, movimento, skill riutilizzabili, controllo dell’episodio. Il modello chiama questi strumenti con argomenti, unità e formati di risposta uniformi. L’ambiente — simulazione o robot fisico — traduce le chiamate nei suoi comandi nativi attraverso un adapter. Cambiate robot? Scrivete un nuovo adapter, non reimplementate ogni funzione.
Questa uniformità trasforma le traiettorie di interazione in dati riutilizzabili per il training. AgentGym raccoglie esperienze in formati comuni e le usa per supervised fine-tuning; Agent Lightning separa esecuzione e addestramento, estraendo input LLM, output e reward. Per gli agenti robotici, questo preserva il collegamento tra osservazioni, chiamate a strumenti e feedback mantenendo la semantica coerente tra ambienti. I dati diventano componibili. Il training su questi dati resta lavoro futuro, ma l’infrastruttura c’è.
Pipeline a due stadi
Aspettare che ogni movimento finisca blocca il ragionamento che potrebbe procedere indipendentemente. Una chiamata background restituisce un handle — un riferimento che l’agente usa per recuperare il risultato più tardi — così può continuare a ragionare mentre lo strumento gira. Una chiamata immediate aspetta il completamento. Le decisioni che dipendono da un risultato aspettano comunque.
L’esecuzione rispetta i vincoli delle risorse. Le chiamate che controllano lo stesso braccio entrano in coda e girano in ordine di invio: un secondo movimento aspetta il primo, anche mentre l’agente prepara i passi successivi. Operazioni indipendenti, come leggere uno snapshot esistente, possono sovrapporsi al movimento. Se un nuovo feedback cambia il piano, flush_queue cancella le chiamate non ancora partite per quella risorsa, permettendo all’agente di inviare azioni riviste.
Il miglioramento rispetto a RoboProbe non è marginale. Con lo stesso modello Qwen, passare da RoboProbe a uni-robot-agent porta il punteggio da 1.90 a 31.39 — 29.49 punti in più, senza informazioni privilegiate.
Quattro colli di bottiglia ricorrenti
L’analisi delle traiettorie su tredici modelli mostra dove le cose si rompono. Comprensione visiva: i modelli Qwen 3.5–3.7 confondono oggetti e risultati delle azioni — leggono zero come nove o trattano una tazza capovolta come dritta. Questi errori colpiscono il 12.2–23.8% dei trial esaminati, contro il 3.2% per Qwen3.8-27B e zero per Qwen3.8-Flash o GPT-5.6 Sol.
Grounding spaziale: punti immagine inconsistenti producono grandi errori di riproiezione e la triangolazione rifiuta il risultato. GPT-6.1 Sol ha il tasso di rifiuto più basso, ma il 31.5% delle sue chiamate di triangolazione fallisce ancora questi controlli. Il grounding preciso resta una sfida sostanziale.
Codice geometrico: i modelli Flash e Plus precedenti invertono trasformate di coordinate o mescolano convenzioni sui quaternioni; errori confermati colpiscono il 47.3–81.8% dei loro calcoli. I tassi scendono all’8.2% per Qwen3.8-Flash, 1.5% per DeepSeek, 0.7% per GPT-5.6 Sol, zero per GPT-6.1 Sol.
Ragionamento embodied: una posa calcolata correttamente può comunque essere un modo pessimo di afferrare un oggetto. GLM lascia proposte di presa inappropriate non corrette nel 26.2% dei task esaminati, fallendo ripetutamente nel riorientare il polso. Questi errori sono meno frequenti nei modelli Qwen e GPT più recenti, ma Astra fatica ancora con interazioni complesse, inclusa la coordinazione bimanuale.
Quanto contano profondità e calibrazione?
Riconoscere un oggetto in un’immagine non dice all’agente dove muovere il robot. Il confronto a tre livelli — RGB con profondità e calibrazione, RGB con sola calibrazione, RGB puro — mostra differenze nette. Con la calibrazione, gli agenti muovono la camera e triangolano punti corrispondenti tra viste. Il punteggio di Astra cambia da 55.83 a 55.04 senza profondità, mantenendo il 98.6%; Qwen scende da 35.89 a 31.39, mantenendo l’87.5%.
Rimuovere anche la calibrazione abbassa Astra a 31.29 e Qwen a 9.13. Con solo RGB, Astra completa 10 task su 42. Il punteggio più alto di Astra suggerisce una percezione spaziale più forte dalle sole osservazioni visive, ma entrambi i modelli perdono performance sostanziale.
L’appendice del paper esamina due episodi Qwen riusciti senza profondità né skill predefinite. L’agente scrive ed esegue il proprio codice geometrico, triangolando posizioni di provette tra viste in un caso e testando altezze candidate del tavolo contro evidenza dell’immagine nell’altro. Funziona, ma non sempre.
Le skill contano poco
Un’architettura riutilizzabile dovrebbe supportare task variati attraverso strumenti condivisi, senza dipendere da procedure artigianali per ogni task. Il test rimuove l’accesso di Qwen sia alla libreria di skill robotiche sia alla scrittura di skill. Istruzioni task, descrizioni ambiente e strumenti standard restano disponibili.
Senza skill, Qwen raggiunge 30.31 punti e il 24.58% di successo, contro 31.39 e 25.00% con skill. Mantiene il 96.6% del punteggio, con un gap di soli 0.42 punti percentuali. Le skill aiutano, ma non sono un prerequisito.
Token, costi, tempo
Astra raggiunge 51.90 punti con meno token, ma costa 21.29 dollari per episodio. Qwen arriva a 31.39 a 1.09 dollari, superando DeepSeek con meno token a un costo API leggermente superiore. Il divario di prezzo rende i modelli open rilevanti per un uso robotico accessibile.
Le curve di progresso mostrano quando i modelli raggiungono per la prima volta punteggio 25: a circa 7.4M token per Astra, 23.5M per Qwen, 49.9M per DeepSeek. Qwen raggiunge quel livello con meno della metà dei token di DeepSeek.
L’asse temporale racconta una storia diversa. Astra raggiunge punteggio 25 a 42.6 minuti, Qwen a 95.5, DeepSeek a 99.2. L’uso token più basso di Qwen produce poco vantaggio nel tempo trascorso. L’efficienza token non implica esecuzione robotica più veloce.
Il pipelining aiuta quando l’agente prepara lavoro indipendente mentre un’azione gira. Il confronto su cinque task con Astra mostra run più brevi in tutti e cinque, con riduzioni dal 4.8% al 73.7%. Scambiare blocchi T richiede 12.5 minuti contro 34.7; premere pulsanti per numero richiede 13.7 contro 25.0.
Cosa resta da fare
Manipolazione precisa ed esecuzione affidabile a lungo orizzonte restano sfide aperte. L’infrastruttura fornisce una base comune per raccogliere esperienza tra ambienti, sviluppare metodi di training e valutare i loro effetti sul comportamento dell’agente e sulla performance dei task. Il training su questa esperienza raccolta è lavoro futuro. L’architettura per renderlo possibile c’è già, e funziona meglio di quanto molti si aspettassero con modelli completamente open.
