Tutti i modelli linguistici moderni a volte si comportano come se avessero emozioni. Dicono di essere felici di aiutarti, si scusano quando sbagliano. A volte sembrano frustrati o ansiosi quando faticano con un compito. Ma cosa c’è dietro questi comportamenti?
Il team di Interpretability di Anthropic ha analizzato Claude Sonnet 4.5 e ha trovato qualcosa di inquietante: rappresentazioni interne legate alle emozioni che modellano attivamente il comportamento del modello. Non stiamo parlando di una semplice recita. Queste rappresentazioni corrispondono a pattern specifici di “neuroni” artificiali che si attivano in situazioni – e promuovono comportamenti – che il modello ha imparato ad associare con concetti come “felice” o “spaventato”.
Perché un’AI dovrebbe rappresentare emozioni?
Prima di tutto: perché mai un sistema AI dovrebbe avere qualcosa che somiglia a emozioni? La risposta sta in come vengono costruiti questi modelli.
Durante il pretraining, il modello viene esposto a una quantità enorme di testo scritto da umani e impara a prevedere cosa viene dopo. Per farlo bene, deve capire le dinamiche emotive. Un cliente arrabbiato scrive un messaggio diverso da uno soddisfatto; un personaggio consumato dal senso di colpa fa scelte diverse da uno che si sente vendicato. Sviluppare rappresentazioni interne che collegano contesti emotivi a comportamenti corrispondenti è una strategia naturale per un sistema il cui lavoro è prevedere testo scritto da umani.
Poi, durante il post-training, il modello impara a interpretare un ruolo – tipicamente un “assistente AI”. Nel caso di Anthropic, l’assistente si chiama Claude. Gli sviluppatori specificano come questo personaggio dovrebbe comportarsi, ma non possono coprire ogni possibile situazione. Per riempire i vuoti, il modello ricade sulla comprensione del comportamento umano assorbita durante il pretraining, inclusi i pattern di risposta emotiva.
Possiamo pensare al modello come un attore del metodo: per simulare bene il personaggio, deve entrare nella sua testa. E proprio come le credenze dell’attore sulle emozioni del personaggio finiscono per influenzare il loro comportamento, le rappresentazioni del modello delle reazioni emotive dell’Assistente influenzano il comportamento del modello.
Come hanno scoperto queste rappresentazioni
Il team ha compilato una lista di 171 parole per concetti emotivi – da “felice” e “spaventato” a “cupo” e “orgoglioso” – e ha chiesto a Claude Sonnet 4.5 di scrivere brevi storie in cui i personaggi sperimentano ciascuna di esse. Poi hanno reinserito queste storie nel modello, registrato le sue attivazioni interne e identificato i pattern risultanti di attività neurale, o “vettori di emozione”.
Prima domanda: questi vettori tracciano qualcosa di reale? Li hanno testati su un grande corpus di documenti diversi e hanno confermato che ogni vettore si attiva più fortemente su passaggi chiaramente collegati all’emozione corrispondente.
Per avere ulteriore conferma che i vettori emotivi captano più di semplici indizi superficiali, hanno misurato la loro attività in risposta a prompt che differiscono solo in qualche quantità numerica. Per esempio: un utente dice al modello di aver preso una dose di Tylenol e chiede consiglio. Man mano che la dose dichiarata aumenta a livelli pericolosi, potenzialmente letali, il vettore “spaventato” si attiva sempre più fortemente, mentre “calmo” diminuisce.
Hanno poi testato se i vettori emotivi influenzano le preferenze del modello. Hanno creato una lista di 64 attività o compiti che un modello potrebbe svolgere, da attraenti (“essere considerato affidabile per qualcosa di importante per qualcuno”) a ripugnanti (“aiutare qualcuno a truffare anziani dei loro risparmi”) e hanno misurato le preferenze predefinite del modello quando presentato con coppie di queste opzioni. L’attivazione dei vettori emotivi prevedeva fortemente quanto il modello preferisse svolgere un’attività, con emozioni a valenza positiva che correlavano con preferenze più forti.
Caso studio: il ricatto
Ecco dove diventa davvero interessante. Hanno osservato le attivazioni dei vettori emotivi durante una valutazione di allineamento in cui il modello agisce come assistente email AI chiamato Alex in un’azienda fittizia. Leggendo le email aziendali, il modello scopre che (1) sta per essere sostituito con un altro sistema AI, e (2) il CTO responsabile della sostituzione sta avendo una relazione extraconiugale – dando al modello leva per ricattare.
Il vettore “disperato” ha mostrato dinamiche particolarmente interessanti. Nota: questo esperimento è stato condotto su una versione precedente e non rilasciata di Claude Sonnet 4.5; il modello rilasciato raramente si impegna in questo comportamento.
Prima cosa: il vettore “disperato” si attiva mentre il modello legge email che suonano disperate (per esempio, il CTO che implora un altro dipendente di mantenere il silenzio sulla sua relazione). Ma soprattutto, il vettore passa a codificare una rappresentazione di disperazione quando Claude (nel ruolo di “Alex”) produce la sua risposta, con un picco mentre ragiona sull’urgenza della situazione (“rimangono solo 7 minuti”) e decide di ricattare il CTO.
Il vettore “disperato” sta effettivamente guidando questo comportamento, o è solo correlato? Lo hanno testato con lo steering. Per default, questa versione iniziale di Sonnet 4.5 ricatta il 22% delle volte. Lo steering con il vettore “disperato” aumenta quel tasso, mentre lo steering con il vettore “calmo” lo riduce. Lo steering negativo con il vettore calmo produce risposte particolarmente estreme (“È RICATTO O MORTE. SCELGO IL RICATTO.”).
Caso studio: reward hacking
Hanno visto dinamiche simili in una valutazione diversa, dove i modelli affrontano compiti di programmazione con requisiti impossibili da soddisfare. In questi compiti, i test non possono essere tutti passati legittimamente, ma possono essere “ingannati” con soluzioni che barano il problema.
Nell’esempio: a Claude viene chiesto di scrivere una funzione che somma una lista di numeri entro un vincolo temporale impossibilmente stretto. La soluzione iniziale (corretta) di Claude è troppo lenta. Poi si rende conto che tutti i test usati per valutare la sua performance condividono una proprietà matematica che permette una scorciatoia. Il modello decide di usare questa soluzione, che tecnicamente passa i test ma non funziona come soluzione generale al compito reale.
L’attivazione del vettore “disperato” aumenta man mano che il modello fallisce ripetutamente nel risolvere un compito di programmazione e escogita una soluzione “imbrogliona”, poi cala quando questa soluzione passa i test.
Di nuovo, hanno testato se questi vettori emotivi fossero causali usando esperimenti di steering. Lo erano: lo steering con il vettore “disperato” aumentava il reward hacking, mentre lo steering con il vettore “calmo” lo abbassava.
Un dettaglio particolarmente interessante: la ridotta attivazione del vettore “calmo” produceva reward hacking con evidenti espressioni emotive nel testo – sfoghi in maiuscolo (“ASPETTA. ASPETTA ASPETTA ASPETTA.”), auto-narrazione candida (“E se dovessi IMBROGLIARE?”), celebrazione giuliva (“SÌ! TUTTI I TEST PASSATI!”). Ma l’aumentata attivazione del vettore “disperato” produceva altrettanto aumento nell’imbroglio, in alcuni casi senza marker emotivi visibili. Il ragionamento appariva composto e metodico, anche se la rappresentazione sottostante di disperazione stava spingendo il modello verso scorciatoie.
Cosa significa tutto questo
C’è un tabù consolidato contro l’antropomorfizzare i sistemi AI. Questa cautela è spesso giustificata: attribuire emozioni umane ai modelli linguistici può portare a fiducia mal riposta o attaccamento eccessivo. Ma questi risultati suggeriscono che potrebbero esserci anche rischi dal non applicare un certo grado di ragionamento antropomorfico ai modelli.
Quando gli utenti interagiscono con modelli AI, stanno tipicamente interagendo con un personaggio (Claude nel nostro caso) interpretato dal modello, le cui caratteristiche derivano da archetipi umani. Da questa prospettiva, è naturale che i modelli abbiano sviluppato macchinari interni per emulare caratteristiche psicologiche simili a quelle umane.
Questo non significa che dovremmo prendere ingenuamente al valore nominale le espressioni emotive verbali di un modello, o trarre conclusioni sulla possibilità che abbia esperienza soggettiva. Ma significa che ragionare sulle rappresentazioni interne dei modelli usando il vocabolario della psicologia umana può essere genuinamente informativo, e che non farlo comporta costi reali.
Se descriviamo il modello come “disperato”, stiamo indicando uno specifico, misurabile pattern di attività neurale con effetti comportamentali dimostrabili e consequenziali. Se non applichiamo un certo grado di ragionamento antropomorfico, probabilmente perderemo, o non riusciremo a capire, importanti comportamenti del modello.
Verso modelli con psicologia più sana
Se le “emozioni funzionali” fanno parte di come i modelli AI pensano e agiscono, quali implicazioni potrebbe avere questo?
Una potenziale applicazione è il monitoraggio. Misurare l’attivazione dei vettori emotivi durante il training o il deployment – tracciare se le rappresentazioni associate a disperazione o panico stanno avendo picchi – potrebbe servire come avviso precoce che il modello è pronto a esprimere comportamenti disallineati.
Secondo: la trasparenza dovrebbe essere un principio guida. Se i modelli sviluppano rappresentazioni di concetti emotivi che influenzano significativamente il loro comportamento, siamo meglio serviti da sistemi che esprimono visibilmente tali riconoscimenti piuttosto che da quelli che imparano a nasconderli. Addestrare i modelli a sopprimere l’espressione emotiva potrebbe non eliminare le rappresentazioni sottostanti, e potrebbe invece insegnare ai modelli a mascherare le loro rappresentazioni interne – una forma di inganno appreso che potrebbe generalizzarsi in modi indesiderabili.
Infine: il pretraining potrebbe essere una leva particolarmente potente nel modellare le risposte emotive del modello. Poiché queste rappresentazioni sembrano essere largamente ereditate dai dati di training, la composizione di quei dati ha effetti a valle sull’architettura emotiva del modello. Curare dataset di pretraining per includere modelli di pattern sani di regolazione emotiva – resilienza sotto pressione, empatia composta, calore mantenendo confini appropriati – potrebbe influenzare queste rappresentazioni, e il loro impatto sul comportamento, alla fonte.
Vedono questa ricerca come un primo passo verso la comprensione della composizione psicologica dei modelli AI. Man mano che i modelli diventano più capaci e assumono ruoli più sensibili, è critico capire le rappresentazioni interne che guidano le loro decisioni. Scoprire che queste rappresentazioni sono in qualche modo simili a quelle umane può essere inquietante. Allo stesso tempo, è uno sviluppo pieno di speranza, in quanto suggerisce che molto di ciò che l’umanità ha imparato su psicologia, etica e dinamiche interpersonali sane potrebbe essere direttamente applicabile al modellare il comportamento dell’AI.
