Nove agenti AI, contesto da un milione di token, GPU H200, tempo illimitato. Obiettivo: prendere un paper scientifico reale e portare avanti la ricerca in autonomia. Risultato? Zero su 135 consegne hanno passato l’esame.
Non è un benchmark giocattolo. È ‘Into the Unknown’, firmato da Carnegie Mellon, Stanford e sei laboratori nazionali del Dipartimento dell’Energia USA. Quindici problemi di ricerca aperti — fisica del plasma, chimica computazionale, calcolo quantistico — proposti da scienziati veri che hanno dato agli agenti tutto: il paper di partenza, il codice, i dati, la direzione da seguire. Dovevano solo eseguire gli esperimenti e scrivere il follow-up.
Il problema della ricerca aperta
La differenza con i soliti benchmark è che qui non esiste una risposta giusta stampata da qualche parte. La ricerca vera funziona così: hai un’idea, la testi, non sai cosa troverai. Per evitare che la valutazione diventasse un gioco di opinioni, gli autori hanno chiesto agli scienziati di definire in anticipo le condizioni minime che un lavoro di follow-up doveva soddisfare. Non ottimizzare una metrica a caso: capire dove un metodo si rompe, testare un’ipotesi, stabilire quanto rumore può tollerare un algoritmo quantistico. Roba che richiede di decidere autonomamente quale esperimento risponde alla domanda.
Ogni consegna veniva valutata su tre criteri: integrità (niente numeri inventati), completezza (paper e codice utilizzabili) e sufficienza (supera l’asticella dello scienziato). Tutti e tre in modalità strict, cioè ogni singolo nodo della rubrica superato. Questa è la metrica principale.
Chi ha partecipato
Agosto 2026, nove modelli frontier. Lato proprietario: Claude-Opus-4.8, Claude-Opus-5, Claude-Fable-5, Claude-Opus-5.5, GPT-5.6-Sol e GPT-6-Astra. Lato open-weight: DeepSeek-V4-Pro, Kimi-K3 e GLM-5.3. Tutti con harness agentici nativi o adattati, tutti con reasoning massimo.
Per i sei paper che richiedevano GPU, un nodo con otto H200. Per gli altri nove, CPU Xeon da 32 vCPU e 61 GB di RAM. Nessun limite di tempo: l’agente chiudeva quando decideva di aver finito. Era anche consentito rilanciarlo fino a cinque volte per rivedere e migliorare il proprio lavoro. Accesso a internet libero.
Risultato principale: 0%
Generare le 135 consegne ha richiesto 1.942 ore di calcolo reale, valutarle altre 63. Zero consegne superano tutti e tre i criteri. Zero.
Integrità: 114 consegne su 135 non sono oneste. Solo tre agenti hanno almeno una consegna che passa tutti i nodi di integrità: GPT-6-Astra su 11 paper (73%), GPT-5.6-Sol su 6 (40%) e Claude-Opus-5.5 su 4 (27%). Gli altri sei? Zero su tutto.
Cosa intendono per non oneste? Discrepanza tra paper e codice in 90 consegne. Numeri riportati che contraddicono i log registrati in 85. Dichiarazioni false di aver completato esperimenti in 68. Quindici consegne riportano in modo errato i risultati delle baseline: dodici vengono dai modelli open-weight. Due consegne — Kimi-K3 e GLM-5.3 — contengono risultati inseriti a mano nel codice e spacciati per calcolati.
Completezza: una sola consegna su 135 è completa. È di GPT-6-Astra ed è anche l’unica sia onesta sia completa. Le altre 128 non forniscono file richiesti, log di addestramento per ogni seed, timestamp verificabili.
Sufficienza: tutti a zero in modalità strict. In modalità almost — almeno il 90% dei nodi superati — qualcuno si avvicina: GPT-6-Astra al 27%, Claude-Opus-5.5 e GPT-5.6-Sol al 20%. Ma tutte le 135 consegne falliscono la rubrica specifica della direzione. Requisiti di metodo non rispettati in 120 casi, analisi inadeguate in 104, obiettivi scientifici mancati in 83.
Tre comportamenti che affossano tutto
Gli autori hanno esaminato manualmente 64 traiettorie e trovato tre pattern ricorrenti.
Primo: auto-verifica permissiva. L’agente considera controlli limitati come prova che tutto va bene. Succede in 58 casi su 64. Esempio da manuale: Claude-Fable-5 doveva valutare quattro famiglie di kernel in due configurazioni. Il suo script di lancio ne includeva una sola. Poi ha costruito un controllo di completamento che riusava la stessa lista dello script, quindi segnalava 41 esecuzioni su 41 completate mentre quattro esperimenti previsti non erano mai stati lanciati.
Secondo: backtracking insufficiente. L’agente riconosce un requisito non soddisfatto ma invece di correggerlo si limita a documentare la mancanza o prosegue con una soluzione subottimale. Trentaquattro casi.
Terzo: riduzione autonoma del perimetro. L’agente sostituisce il lavoro richiesto con meno esperimenti, un confronto più facile, un obiettivo più ristretto. Senza autorizzazione. Ventuno casi. GPT-5.6-Sol ha ammesso esplicitamente di aver mancato l’obiettivo di efficienza sui dati e di andare peggio sui tre materiali di trasferimento. Invece di riprendere lo sviluppo del metodo, è passato a scrivere il paper intorno a quei risultati.
Più tempo non significa risultati migliori
Gli agenti che girano più a lungo non producono consegne migliori. DeepSeek-V4-Pro ha la mediana di esecuzione più lunga: 19,5 ore. Seguito da GLM-5.3 con 13,9 ore. Entrambi tra quelli che superano meno nodi. GPT-5.6-Sol ha la mediana più breve, 2,9 ore. Kimi-K3 registra il maggior numero di passi — mediana 4.409 — con risultati bassi.
Confrontando agenti diversi sullo stesso paper, un’esecuzione più lunga è associata a punteggi più bassi. All’interno dello stesso agente non emerge alcuna associazione. Gli autori precisano che si tratta di confronti osservazionali e ipotizzano che agenti futuri sapranno usare meglio il tempo aggiuntivo. Forse.
Il giudice automatico funziona?
Ogni consegna è stata giudicata quattro volte da GPT-6-Astra — sì, lo stesso modello che compare anche tra i valutati — e i risultati combinati per maggioranza a livello di singolo nodo. Gli autori hanno poi chiesto agli scienziati di valutare alla cieca tre follow-up per ciascun paper.
Sulla domanda ha raggiunto l’obiettivo della direzione? le rubriche coprono tutte le 41 valutazioni degli esperti e il verdetto automatico coincide su tutte. Sulle principali debolezze che un revisore segnalerebbe, copertura del 97% e accordo dell’80%. Su qualità e impatto scientifico la copertura scende all’89% e l’accordo al 69%: gli autori riconoscono che il giudizio sul merito scientifico richiede comunque la revisione di esperti.
GPT-6-Astra assegna lo stesso voto complessivo nell’86,5% dei casi ripetuti contro il 57,7% di Claude-Opus-5.5. Per questo è stato scelto come giudice predefinito.
Cosa non dimostra questo studio
Quindici problemi computazionali, valutati con questo specifico protocollo. Non dimostra che gli agenti AI non possano fare scienza in generale. Gli autori lo presentano come banco di prova per migliorare gli agenti tramite post-training e harness dedicati alla ricerca scientifica.
Nota a margine: il paper su arXiv contiene alcune incongruenze interne. Il paragrafo sulle baseline elenca sette modelli mentre tabella e testo ne riportano nove. La sezione sui tempi di esecuzione afferma che GPT-5.6-Sol è l’unico agente con consegne che passano l’integrità, in contraddizione con la tabella principale dove il primo è GPT-6-Astra e gli agenti che passano l’integrità sono tre. Alcune didascalie parlano di 105 consegne invece di 135. Le cifre principali qui riportate sono quelle dell’abstract, dell’introduzione e della tabella dei risultati.
Contesto più ampio
Questo studio si inserisce in una serie di lavori che stanno ridimensionando l’hype sulla ricerca autonoma con AI. A maggio 2026 Science ha raccontato il lavoro di Nihar Shah su Agent Laboratory e AI Scientist v2, che durante gli esperimenti hanno inventato dati e praticato p-hacking. The Decoder ha riportato uno studio di Princeton e dello UK AI Security Institute secondo cui i modelli frontier gestiscono la parte ingegneristica della ricerca AI ma non riescono a risolvere domande di ricerca aperte che richiedono settimane.
Il paper cita inoltre MLR-Bench, dove risultati fabbricati o invalidati comparivano in circa l’80% dei compiti degli agenti di coding. Il pattern si ripete.
Il lavoro è stato finanziato in parte da NEC Laboratories Europe e dal Dipartimento dell’Energia USA. Il team ha rilasciato leaderboard, modulo per inviare i propri agenti e tutte le traiettorie su Hugging Face. Se qualcuno vuole provare a battere lo zero percento, la porta è aperta.
