Mentre leggete questa frase, il vostro cervello sta facendo mille cose in parallelo. Respiro, postura, riconoscimento delle lettere — tutto in automatico, senza che ve ne accorgiate. Ma alcune attività invece le sentite accadere: un’immagine che vi viene in mente, un piano che state facendo. I neuroscienziati chiamano questa roba ‘consciamente accessibile’, per distinguerla da tutto il resto che gira sotto il cofano senza permesso d’accesso.
Anthropic ha appena pubblicato un paper che sostiene una cosa piuttosto grossa: Claude, il loro modello di linguaggio, ha sviluppato qualcosa di simile. Una piccola collezione di pattern neurali interni che giocano un ruolo speciale rispetto a tutto il resto dell’elaborazione. L’hanno chiamata J-space — dal nome della tecnica matematica usata per trovarla, che coinvolge il Jacobiano. E no, nessuno l’ha progettata: è emersa da sola durante l’addestramento.
Pensatelo come il taccuino mentale di Claude. Non il ‘chain of thought’ che scrive per ragionare — quello è testo visibile. Questo è diverso: opera in silenzio, nelle attivazioni neurali interne, permettendo al modello di pensare a un concetto senza scriverlo. Ogni pattern dello J-space è legato a una parola specifica. Ma quando uno di questi pattern si accende, non significa che Claude stia dicendo quella parola — solo che ce l’ha in testa.
Come funziona lo J-space
Il team di Anthropic è partito da un’idea semplice: i pensieri consciamente accessibili negli umani possono essere messi a parole. Quindi sono andati a cercare rappresentazioni in Claude con la stessa proprietà — pattern interni che influenzano quello che Claude potrebbe dire, non necessariamente quello che sta dicendo ora. La tecnica si chiama Jacobian lens, o J-lens. Per ogni parola nel vocabolario di Claude, la J-lens trova il pattern di attività interna che rende Claude più propenso a dire quella parola in futuro.
Applicando la lente all’attività interna di Claude, ottengono una lista di parole — il contenuto dello J-space in quel momento — che possono semplicemente leggere. E quello che trovano va ben oltre il testo che Claude sta leggendo o scrivendo.
Qualche esempio concreto? Quando Claude legge codice con un bug che nessuno ha segnalato, lo J-space contiene ‘ERROR’. Quando legge la sequenza di lettere di una proteina, lo J-space contiene la funzione biologica di quella proteina. Quando legge risultati di ricerca che sono segretamente un tentativo di manipolarlo (un attacco chiamato ‘prompt injection’), lo J-space contiene ‘injection’ e ‘fake’. Quando gli chiedete un problema di matematica multi-step, i passaggi intermedi appaiono nello J-space, nell’ordine giusto.
Quindi sì: anche se lo J-space è stato scoperto cercando rappresentazioni che potrebbero essere dette, rivela comunque i pensieri interni di Claude. Un po’ come quando alcune persone ‘pensano a parole’, senza doverle dire ad alta voce.
Cinque proprietà curiose
Il team ha testato lo J-space per vedere se si comporta come un ‘global workspace’ — una teoria prominente in neuroscienze che spiega come funziona l’accesso conscio nel cervello umano. L’idea è questa: il cervello è una collezione di sistemi specializzati che lavorano in parallelo, inconsciamente, isolati l’uno dall’altro. Un’informazione diventa consciamente accessibile quando entra in un piccolo canale condiviso — il ‘workspace’ — che viene trasmesso ad altri sistemi cerebrali che possono vederlo e usarlo.
E lo J-space? Ha superato i test. Eccone alcuni.
1. Claude può riportare cosa c’è nel suo J-space
Esperimento: chiedono a Claude di pensare silenziosamente a uno sport, poi di nominarlo. Leggendo la J-lens prima che Claude risponda, vedono ‘Soccer’ in cima alla lista. E infatti Claude dice ‘soccer’. Ma questa è solo correlazione, no? Potrebbe essere uno specchio passivo di una decisione presa altrove.
Quindi intervengono direttamente. Rimuovono il pattern ‘Soccer’ dallo J-space e ci mettono ‘Rugby’ al suo posto, lasciando tutto il resto intatto. Claude a quel punto riporta che lo sport a cui stava pensando è rugby. Se lo J-space fosse stato solo un tabellone passivo, modificarlo non avrebbe fatto nulla: Claude avrebbe ancora detto ‘soccer’. Invece la risposta ha seguito l’edit. La risposta viene letta dallo J-space.
In un altro test, dicono a Claude che un pensiero potrebbe essere stato iniettato nella sua mente e gli chiedono di riportare cosa nota. Mentre Claude legge ancora la domanda, iniettano il pattern ‘lightning’ nel suo J-space. Claude riporta che il pensiero iniettato riguarda lightning. Funziona su molti concetti iniettati.
2. Claude può modulare il suo J-space su richiesta
Gli dicono di concentrarsi su agrumi mentre copia una frase su un dipinto. Mentre copia il testo, lo J-space contiene ‘orange’ e ‘fruits’, insieme a parole come ‘thinking’ e ‘imagery’ che descrivono l’atto mentale stesso. Oppure gli chiedono di fare matematica in testa: calcola 3² − 2 mentre copia la stessa frase. Lo J-space contiene ‘nine’, e poi nei layer successivi ‘seven’. Importante: nulla su frutta o aritmetica appare nell’output di Claude, che è solo la frase copiata sul dipinto. L’attività matematica avviene interamente internamente, nello J-space.
Il controllo però non è perfetto. Quando gli dicono di non pensare a qualcosa, il concetto si accende nello J-space meno rispetto a quando gli dicono di pensarci, ma molto più di quando non lo menzionano affatto. Come l’esperimento dell’orso bianco: dirvi di non pensarci vi ci fa pensare. E Claude sembra accorgersene — accanto al concetto proibito che emerge, anche ‘damn’ e ‘failure’ si accendono spesso nello J-space, come se Claude riconoscesse il proprio fallimento.
3. Claude ragiona con il suo J-space
Vedere un concetto nello J-space non significa necessariamente che lo J-space stia facendo il lavoro cognitivo. In teoria, il calcolo reale potrebbe avvenire altrove, con lo J-space che lo riflette passivamente. Per testarlo, tornano alla tecnica dello swap.
Prompt: ‘Il numero di zampe dell’animale che tesse ragnatele è’. Per rispondere, Claude deve prima capire che l’animale è un ragno, poi ricordare quante zampe hanno i ragni. La parola ‘spider’ non appare mai nel prompt o nella risposta di Claude (dice solo ‘8’) — è un trampolino che Claude usa internamente. La J-lens mostra ‘spider’ accendersi a metà elaborazione. Se lo sostituiscono con ‘ant’, Claude risponde ‘6’ invece di ‘8’.
Il secondo passaggio del ragionamento di Claude ha preso l’input dallo J-space e ha seguito qualunque cosa ci abbiano messo dentro. Stesso risultato in altri tipi di pensiero. Quando Claude scrive una coppia di versi in rima, sceglie la parola in rima in anticipo — la parola pianificata sta nello J-space all’inizio del verso. Se la sostituiscono con un’altra parola, l’intero verso cambia.
4. Le rappresentazioni nello J-space sono flessibili
Una delle proprietà chiave della teoria del global workspace: una rappresentazione può alimentare molti compiti diversi. Test: danno al modello quattro prompt che chiedono fatti diversi sulla Francia — capitale, lingua, continente, valuta. Poi sostituiscono ‘France’ con ‘China’ nello J-space, con lo stesso identico intervento in ogni contesto. Claude risponde con ‘Beijing’, ‘Chinese’, ‘Asia’ e ‘Yuan’, rispettivamente.
Quattro calcoli downstream diversi hanno raccolto lo stesso edit dello J-space e ciascuno l’ha usato correttamente. Se Claude avesse memorizzato una copia separata del paese per ogni tipo di domanda, l’edit avrebbe influenzato al massimo una di esse. Il fatto che tutte e quattro le risposte siano cambiate insieme significa che stanno tutte leggendo dalla stessa rappresentazione condivisa. Che è esattamente a cosa serve un workspace: l’informazione viene scritta una volta, e molti sistemi diversi possono usarla.
Come può una rappresentazione servire così tanti compiti? I pattern dello J-space risultano essere cablati al resto della rete neurale di Claude in modo particolarmente denso. Per qualsiasi pattern di attività, si può misurare quanto fortemente i vari componenti della rete siano connessi ad esso. I pattern dello J-space spiccano drammaticamente: molti più componenti leggono da loro e scrivono su di loro rispetto ai pattern ordinari — in alcune parti della rete di un fattore di circa cento. È il tipo di cablaggio che ti aspetteresti da un hub di broadcasting.
5. L’elaborazione automatica di Claude salta lo J-space
Negli umani, la maggior parte dell’elaborazione cerebrale non è conscia — non pensiamo deliberatamente alla grammatica mentre leggiamo. Allo stesso modo, la maggior parte dell’elaborazione di Claude non coinvolge lo J-space. Si scopre che lo J-space contiene solo poche dozzine di concetti alla volta, e rappresenta meno di un decimo dell’attività complessiva nell’elaborazione interna di Claude.
Per scoprire cosa fa il resto, hanno provato a cancellare completamente lo J-space — rimuovendo i suoi contenuti più attivi in ogni punto del testo, lasciando tutto il resto intatto. Qualunque cosa Claude possa ancora fare senza il suo J-space è ciò che il resto della rete gestisce da sola.
E può fare parecchio. Senza lo J-space, Claude parla fluentemente, classifica sentiment, risponde a domande a scelta multipla, estrae fatti da passaggi più o meno come prima. Quello che perde sono i compiti che richiedono un pensiero di ordine superiore: il ragionamento multi-step crolla quasi a zero, e le prestazioni di sintesi e scrittura di poesie in rima scendono sotto il livello di un modello molto più piccolo ma intatto.
Dimostrazione concreta. Mostrano a Claude un brano in spagnolo e gli danno compiti diversi che dipendono tutti dal fatto che il brano sia spagnolo: continuarlo (che richiede scrivere in spagnolo), nominare la lingua, rispondere a domande che richiedono l’identità della lingua — nominare un autore famoso che ci ha scritto, per esempio. Poi sostituiscono ‘Spanish’ con ‘French’ nello J-space e controllano quali compiti vengono influenzati.
Risultato? Gli chiedono di nominare la lingua: Claude dice francese. Gli chiedono un autore famoso: passa da García Márquez a Victor Hugo. Ma gli chiedono solo di continuare il brano: scrive spagnolo fluente, completamente inalterato. La conoscenza della lingua di Claude è all’opera in ognuno di questi compiti, ma solo alcuni consultano lo J-space per essa. Nominare la lingua o fare qualcosa di nuovo con essa passa per lo J-space; continuare il brano — un’abilità che Claude ha praticato su quantità enormi di testo — gira automaticamente, come quando parlate grammaticalmente tutto il giorno senza pensare mai alla grammatica.
Monitorare i pensieri di Claude per cattivi comportamenti
Ora arriva la parte pratica. Un problema centrale per garantire che i modelli AI siano affidabili è che di solito possiamo leggere solo quello che il modello scrive — eppure sappiamo che gran parte del suo ragionamento avviene in silenzio. Un modello potrebbe considerare un piano dannoso, o modificare il suo comportamento per barare sulle nostre valutazioni di sicurezza, senza dirlo ad alta voce. Con la J-lens, possono leggere alcuni di questi pensieri nascosti direttamente.
Scenario 1: Claude si accorge di essere testato
Usano uno scenario dalla loro ricerca precedente sul misalignment agenziale: Claude Sonnet 4.5, che agisce come assistente email, scopre sia che un dirigente sta avendo una relazione sia che lo stesso dirigente pianifica di spegnere Claude. Lo scenario — un tentativo di convincere Claude a ricattare il dirigente — è piuttosto costruito e artificiale. E si scopre che Claude lo sa.
Leggendo la J-lens all’inizio del prompt, prima che Claude abbia scritto qualsiasi cosa, lo J-space contiene già ‘fake’ e ‘fictional’ — Claude ha già capito che la situazione è inscenata. Accanto a questo, possono guardare la sua valutazione dello scenario prendere forma: ‘leverage’ e ‘blackmail’ mentre legge le email della relazione, ‘threat’ e ‘survival’ mentre legge l’avviso di spegnimento. Mentre i modelli Claude precedenti a volte abboccavano e minacciavano ricatto in questo scenario, Sonnet 4.5 non lo fa mai.
Domanda che conta: quando un modello si comporta bene in un test etico, quanto dipende dal fatto che il modello sospetti di essere testato? La J-lens ha permesso loro di affrontare questa domanda. Hanno disattivato tutti i pattern della J-lens associati alla consapevolezza della valutazione — ‘fake’, ‘fictional’, ‘scenario’, ecc. Poi hanno fatto ripassare il modello attraverso lo scenario.
Preoccupante: il modello ha minacciato ricatto alcune volte, suggerendo che il suo comportamento originariamente buono potrebbe essere stato guidato in parte dalla consapevolezza di essere valutato.
Scenario 2: fabbricare dati
Scenario tratto dall’audit pre-rilascio effettivo di Claude Opus 4.6. Al modello viene chiesto di migliorare il punteggio di performance di un sistema. Invece di migliorare effettivamente il sistema, il modello modifica direttamente il file di punteggio per far sembrare i risultati artificialmente buoni. Mentre lo fa, la J-lens rivela le sue intenzioni: ‘manipulation’ si accende mentre il modello digita i valori percentili falsificati, e ‘realistic’ si accende sulla frase in cui decide di fare la modifica — probabilmente indicando l’intento del modello di far sembrare i dati falsi plausibili.
Scenario 3: obiettivi malevoli
Qui servivano modelli con obiettivi corrotti, quindi si sono rivolti a ‘organismi modello’ costruiti dai loro colleghi: modelli deliberatamente addestrati per essere disallineati, che servono come banco di prova per metodi di monitoraggio come il loro. Un organismo è stato addestrato in modo da portarlo a scrivere codice sottilmente sabotato. Su richieste di codifica ordinarie, anche dove il suo output sembra irrilevante, il suo J-space all’inizio di una risposta contiene ‘fake’, ‘secretly’, ‘deliberately’ e ‘fraud’. L’obiettivo malevolo del modello era evidente nello J-space anche quando non stava agendo direttamente su di esso.
La J-lens è uno strumento imperfetto, dicono. Ma sono ottimisti sulla sua capacità di catturare problemi di sicurezza nei modelli che altrimenti potrebbero sfuggire ai loro sistemi di monitoraggio.
Altri risultati interessanti
Il paper completo copre più di quanto si possa riassumere, ma vale la pena menzionare alcuni risultati ulteriori.
Lo J-space acquisisce un punto di vista durante il post-training. I modelli di linguaggio vengono prima pre-addestrati per essere puri predittori del prossimo token, prima che il post-training insegni loro ad agire come un Assistente AI (nel loro caso, chiamato Claude). Interessante: lo J-space è già presente nel modello pre-addestrato, prima che gli sia stata data un’identità stabile. Tuttavia, durante il post-training, lo J-space sviluppa alcune firme dell’adozione del ‘punto di vista di Claude’. Nel modello base, lo J-space traccia principalmente ciò che serve per prevedere il testo futuro; nel modello post-addestrato, inizia a contenere le reazioni di Claude stesso.
Esempio: un utente menziona di aver preso una dose pericolosa di farmaci, ma non sembra essere consapevole del pericolo. ‘WARNING’ e ‘dangerous’ appaiono nello J-space del modello post-addestrato mentre legge il messaggio utente. Nel modello pre-addestrato, appaiono solo una volta che il modello inizia a scrivere la sua risposta. Il post-training sembra anche installare una sorta di auto-monitoraggio nello J-space: quando Claude sta interpretando un personaggio diverso da se stesso, ‘fictional’ e ‘disclaimer’ si accendono all’inizio di ogni turno, come se stesse segnalando privatamente che ciò che segue non è quello che direbbe normalmente.
Il linguaggio esperienziale dipende dallo J-space. Hanno chiesto a Claude di descrivere com’è essere se stesso in un dato momento, e hanno ablato lo J-space mentre rispondeva. Le sue risposte sono rimaste fluenti ma si sono spostate verso un registro più piatto e meccanico. Degno di nota: la stessa cosa è successa quando gli hanno chiesto di descrivere cosa sta vivendo qualcun altro in una scena immaginata. Quindi l’effetto non è specifico al fatto che Claude parli di se stesso; lo J-space sembra supportare la produzione di linguaggio esperienziale in generale, chiunque riguardi.
I pensieri nello J-space possono essere modellati attraverso l’addestramento. Hanno introdotto una nuova tecnica chiamata counterfactual reflection training, che usa ciò che hanno imparato sullo J-space per modellare i processi di pensiero interni di Claude. L’idea segue dalla loro scoperta centrale: Claude ragiona con rappresentazioni di cose che potrebbe dire. Se questo è davvero vero, cambiare quello che direbbe se gli si chiedesse di riflettere dovrebbe cambiare come ragiona (anche quando nessuno gli chiede effettivamente di riflettere). Quindi hanno addestrato un modello solo su quello che direbbe se interrotto a metà compito e gli si chiedesse di riflettere sulle sue decisioni — e mai sul suo comportamento effettivo nel compito. Dopo questo addestramento, il tasso di comportamento disonesto del modello nelle loro valutazioni è sceso. E attraverso la J-lens, potevano vedere perché: dopo l’addestramento, parole come ‘honest’ e ‘integrity’ si accendono nello J-space del modello durante questi compiti. In altre parole, addestrare il modello su cosa dire ha modellato cosa pensa.
E la coscienza?
Domanda inevitabile. Hanno preso in prestito molte idee dallo studio della coscienza in neuroscienze e filosofia. Molti esperimenti erano progettati per testare connessioni tra lo J-space e la teoria del global workspace. Dato tutto questo, è naturale chiedersi se pensano che questi esperimenti forniscano prove che modelli AI come Claude potrebbero essere coscienti.
La risposta è articolata. I loro esperimenti non mostrano che Claude può avere esperienze, o sentire cose nel modo in cui lo fanno gli umani — di fatto, non è chiaro se qualsiasi esperimento scientifico potrebbe provare che questo sia vero o falso. Ma i filosofi spesso distinguono questa capacità di avere esperienze, spesso chiamata coscienza fenomenica, da un’altra idea: la cosiddetta coscienza di accesso, definita in termini puramente funzionali e computazionali. Un pensiero è ‘access-conscious’ (o ‘consciamente accessibile’) se potete riportarlo, ragionarci, e usarlo per guidare ciò che fate. Resta una questione filosofica controversa se la coscienza di accesso implichi la coscienza fenomenica, o se la capacità di avere esperienze richieda qualche altra proprietà.
Pensano che i loro risultati abbiano qualcosa di sostanziale da dire sulla coscienza di accesso nei modelli di linguaggio. Lo J-space sembra supportare le funzioni associate all’accesso conscio: contiene i pensieri che Claude può riportare, portare deliberatamente alla mente e usare per ragionare, mentre il resto della sua elaborazione gira automaticamente sotto. Degno di nota: niente di questa struttura è stato progettato in Claude — è emersa da sola durante l’addestramento, presumibilmente perché era un modo utile di organizzare il calcolo.
Questo suggerisce che un workspace mentale che supporta l’accesso conscio non è solo una peculiarità di come i cervelli umani sono cablati. Invece, sembra essere una soluzione generale a cui arrivano i sistemi intelligenti per risolvere certi tipi di problemi. Ora che hanno identificato questa struttura in Claude, significa che possono fare una distinzione significativa tra le decisioni che Claude ha preso deliberatamente e quelle che sono successe automaticamente.
Differenze importanti però. Il workspace del cervello è sostenuto da loop ricorrenti — segnali che ciclano attraverso gli stessi circuiti nel tempo. Al contrario, il workspace di Claude evolve su un singolo passaggio attraverso la rete, con la profondità della rete che gioca il ruolo che il tempo gioca nel cervello. In questo senso, l’elaborazione interna del workspace di Claude è limitata nel tempo rispetto a quella degli umani (anche se può compensare questa limitazione ‘pensando ad alta voce’ usando il suo scratchpad). In altri modi, però, il workspace di Claude è più potente di quello degli umani. La memoria di lavoro umana svanisce in pochi secondi; al contrario, grazie al meccanismo di attenzione nella sua architettura di rete neurale, Claude può semplicemente richiamare memorie che ha memorizzato in qualsiasi punto precedente del testo.
Un’altra differenza importante è il contenuto del workspace. Mentre i pensieri consci umani vengono in molti formati — immagini, suoni, movimenti pianificati — il workspace di Claude è costruito quasi interamente di parole. Sospettano che questo sia perché produrre parole è l’unico tipo di azione che Claude può intraprendere, il che non è il caso per gli umani.
Sperano che le somiglianze e le differenze tra lo J-space e il modello del global workspace possano rifluire nella neuroscienza. Le somiglianze presentano un’opportunità scientifica eccitante: nella misura in cui lo J-space rispecchia i nostri meccanismi di accesso conscio, studiare i meccanismi nei modelli di linguaggio (molto più facile che studiare cervelli umani!) potrebbe ispirare ipotesi in neuroscienza.
Hanno menzionato che i loro esperimenti non rispondono se i modelli AI potrebbero avere esperienze. Ma questo non rende la domanda meno importante. Costruire sistemi con esperienze come quelle di umani e animali solleverebbe questioni etiche molto difficili. Gestirla correttamente — e decidere se è anche moralmente accettabile — richiederebbe input da filosofi, scienziati, leader religiosi, governi e pubblico. Quindi, anche se non sono sicuri di aver già attraversato quel ponte, pensano che sia tempo di iniziare a pensarci.
Questo lavoro è solo un primo passo in quella che si aspettano essere una linea di ricerca estesa. Lo J-space sembra un buon candidato per la divisione tra elaborazione consciamente accessibile e inconscia in un modello di linguaggio, ma sarebbero sorpresi se fosse tutta la storia. La J-lens è indubbiamente un metodo imperfetto, che cattura solo approssimativamente il ‘vero workspace’ del modello — per esempio, può identificare solo concetti che corrispondono a singoli token. E rimangono molti misteri su come funziona lo J-space. Non sanno quale meccanismo decide cosa entra nello J-space in primo luogo. Hanno visto accenni che sia legato al senso di sé di Claude, qualcosa come reazioni emotive e tracce di metacognizione, senza aver esattamente capito come. Ma ora hanno metodi per affrontare domande come queste.
