I dati scientifici non arrivano mai con il libretto di istruzioni allegato. Un ricercatore deve capire se quel pattern che vede è biologia vera o solo rumore statistico, se i dati reggono la domanda che sta facendo, e cosa fare dopo in base ai risultati. Cose che non si imparano a memoria.
OpenAI ha appena lanciato GeneBench-Pro, un benchmark che non misura se un’AI sa fare i calcoli — quello ormai è scontato — ma se sa giudicare. Se sa navigare l’ambiguità, cambiare strategia quando serve, capire quando un risultato è abbastanza solido per prendere una decisione clinica o industriale. Insomma: se ha quello che loro chiamano ‘research taste’, il fiuto per la ricerca.
129 problemi che ti fanno sudare freddo
GeneBench-Pro raccoglie 129 quesiti sparsi su 10 domini della biologia computazionale: genetica statistica, genomica funzionale, oncologia molecolare, farmacogenomica. Roba tosta. Ogni problema ti dà un dataset realistico e sporco, un contesto sperimentale abbozzato, e un obiettivo legato a una decisione concreta — tipo: questo paziente dovrebbe ricevere questo farmaco o no?
Per rispondere correttamente, il modello deve esplorare i dati, scegliere l’approccio analitico giusto, iterare, correggere il tiro. Esattamente come farebbe un dottorando sotto la supervisione di un PI esperto. Anzi: secondo Alexander Strudwick Young, professore di genetica umana alla UCLA, ‘questi problemi sarebbero stati difficili per uno studente di dottorato senza feedback iterato da un supervisore esperto’.
Dati sintetici per evitare le trappole dei benchmark
Molti benchmark costruiti su dataset storici hanno un problema: esistono più percorsi analitici difendibili, e alla fine stai misurando quanto l’agente riesce a indovinare le scelte arbitrarie dell’autore del test. Oppure il contrario: il problema è così numericamente insensibile che puoi sbagliare metà dell’analisi e passare lo stesso.
GeneBench-Pro aggira il problema simulando tutto da zero. Conoscono la struttura causale completa, controllano il processo che genera i dati. Questo permette di calibrare la complessità, tollerare differenze ragionevoli nelle scelte soggettive, e verificare — con studi di ablazione — che analisi plausibili ma sbagliate falliscano. Hanno anche mandato 82 dei 129 problemi a esperti esterni: dottorandi, postdoc, scienziati dell’industria, professori. Feedback usato per migliorare i quesiti.
Risultati: GPT-5.6 Sol arriva al 28,7%. Che sembra poco, ma non lo è
Il modello più forte di OpenAI, GPT-5.6 Sol, passa il 28,7% dei problemi al livello massimo di reasoning. Con la modalità Pro attiva sale al 31,5%. Sembra una percentuale da bocciatura, vero?
Beh, contestualizziamo. Quando hanno iniziato a costruire GeneBench, il loro miglior modello — GPT-5 — stava sotto il 5%. Sei volte meno. E considera che i reviewer stimano 20-40 ore di lavoro umano per problema. A 200 dollari l’ora, ogni quesito costa migliaia di dollari in ore-uomo. I costi di inferenza dell’AI? Pochi dollari a problema.
Certo, i modelli attuali sono troppo inaffidabili per sostituire del tutto un esperto. Ma quel gap economico è enorme. Anche un’automazione parziale, allo stato attuale, potrebbe generare valore scientifico ed economico reale.
Scaling del test-time compute: magia pura
Al livello più basso di reasoning, GPT-5.6 Sol ottiene una percentuale a una cifra. Al livello massimo risolve quasi sei volte più problemi di GPT-5.2, usando circa due terzi dei token. Il test-time compute — quanto ragionamento dedicare a ogni singolo problema — fa una differenza brutale.
Altro dato interessante: il gap tra GPT-5.6, GPT-5.5 e modelli open-source come GLM 5.2 è molto più largo di quanto ti aspetteresti guardando i benchmark di coding. Gli open-source sono specializzati per scrivere codice, ma il reasoning scientifico ad alto livello è un’altra storia.
Dove i modelli falliscono: osservano, ma non integrano
Meno di un terzo dei problemi risolti significa che c’è ancora parecchio da fare. I modelli fanno progressi parziali, ma faticano a ‘chiudere il loop inferenziale’. È lo stesso contrasto che vedi tra esperti umani e novizi: l’esperto usa l’esperienza per inquadrare il problema e adattare l’approccio. Il novizio fa osservazioni ma non riesce a integrarle nel contesto più ampio.
Esempio concreto. Problema: farmagengenomica con trattamento variabile nel tempo, dinamiche ritardate, biomarker longitudinali. GPT-5.5 usa un modello Cox convenzionale con il trattamento come esposizione time-varying, ma non gestisce il feedback trattamento-confounder. GPT-5.6 Sol invece applica un modello marginale strutturale di Cox per new-user, esclude gli utenti prevalenti, modella l’inizio del trattamento con pesi di probabilità inversa stabilizzati. Più appropriato, causalmente parlando.
Cyrillus Tan, postdoc al New York Genome Center, dice che ‘la vera sfida viene dall’analisi esplorativa dei dati e dal ragionamento su queste scoperte: identificare pattern e artefatti, decidere se i dati vanno esclusi o aggiustati’. E Lex Flagel, Director of Data Science a Gencove, nota che la maggior parte degli agenti fallisce proprio sulle discrepanze nei dati: ‘Non sono abbastanza cauti sui problemi nei dati. E molti dati biologici hanno irregolarità’.
Perché questo benchmark conta davvero
Se gli agenti riuscissero ad automatizzare in modo affidabile questa classe di analisi, potrebbero accelerare significativamente la scoperta scientifica. L’evidenza genetica umana è già centrale nella prioritizzazione dei target terapeutici — i meccanismi con supporto genetico hanno molte più probabilità di arrivare a trattamenti approvati.
Nel frattempo, i costi del sequenziamento sono crollati. I dataset su scala biobank ora collegano informazioni molecolari, fenotipiche e cliniche a una scala senza precedenti. Il fattore limitante si sta spostando dalla generazione dei dati alla trasformazione dell’informazione in insight azionabili. Modelli che sanno fare analisi oggi gestite da team di esperti umani potrebbero trasformare la ricerca industriale: triage delle ipotesi più veloce, follow-up sui target, cicli di iterazione tra dati e decisioni molto più rapidi.
OpenAI rilascerà 10 problemi rappresentativi su Hugging Face con interfaccia web interattiva, e fornirà un subset di 50 domande ad Artificial Analysis per benchmark indipendente di terze parti. Il paper completo è disponibile. E secondo loro, al ritmo attuale, questo benchmark potrebbe saturarsi entro fine anno. Vedremo se è ottimismo o previsione.
