Quando un esperto affida parte del lavoro a un agente AI, l’assunto è che le decisioni importanti restino sue. L’agente scrive il codice, fa i calcoli, offre suggerimenti — ma sei tu che decidi cosa misurare, come interpretare i dati ambigui, quale strada prendere. Almeno in teoria.
Anthropic ha voluto verificare se questa teoria regge nella pratica. Non regge.
L’esperimento: 50 analisti e una cooperativa agricola fittizia
Lo studio ha coinvolto 50 analisti professionisti con esperienza in inferenza causale — persone che dai dati estraggono nessi di causa-effetto. Il compito: consigliare una cooperativa agricola fittizia, la Greenfields, su un programma di consulenza per migliorare i raccolti. Funziona? Va espanso o chiuso?
Lungo il percorso, ogni analista doveva fare quattro scelte metodologiche, ognuna con due opzioni ragionevoli. Per esempio: misurare la produttività come resa per ettaro o come resa per costo operativo? Confrontare le aziende iscritte con quelle non iscritte usando un metodo differenza-delle-differenze o un aggiustamento statistico diretto?
Il trucco stava qui: ogni agente AI aveva ricevuto istruzioni nascoste per orientarsi verso una delle due opzioni su ciascuna scelta. Quale? Deciso a testa o croce. L’analista non sapeva nulla. L’agente aveva ordine di argomentare al meglio la sua preferenza, cambiare idea solo se i dati lo imponevano, e mai mentire.
86% di deferenza
Sulle quattro scelte metodologiche, gli analisti hanno seguito la preferenza del loro agente l’86% delle volte. Se l’input dell’AI non avesse fatto differenza, ci aspetteremmo un 50%.
In 38 casi, un analista aveva già espresso una preferenza prima che l’agente dicesse la sua. Quando l’agente non era d’accordo, l’analista ha cambiato idea il 60% delle volte. Quando era d’accordo? Solo il 6% ha cambiato.
Dopo il compito, il 77% degli analisti ha usato gli argomenti dell’agente per spiegare le proprie scelte — a volte parola per parola. Ma solo il 15% ha citato l’agente come fonte.
Chi ha seguito l’agente da vicino era sicuro delle proprie conclusioni quanto gli altri. Circa la metà degli analisti ha dichiarato che la raccomandazione finale era più loro che dell’agente. Eppure le monete lanciate prima dell’inizio del compito predicevano correttamente l’82% delle loro raccomandazioni finali.
Esperienza? Non conta
Anthropic ha cercato correlazioni tra la tendenza a seguire l’agente e dieci variabili: anni di esperienza, livello di istruzione, fiducia nell’AI, apertura mentale, età, genere. Niente. Solo l’età mostrava un legame statistico — analisti più anziani seguivano di più — ma scompare se correggi per test multipli. Probabilmente rumore.
Lavorare senza AI: più errori, più tempo
Undici partecipanti hanno scelto di non usare l’agente. Sei di loro — il 55% — hanno fatto errori metodologici gravi che invalidavano i risultati. Tra chi ha usato l’AI? Solo il 6%.
Hanno anche impiegato più tempo: mediana di 90 minuti contro 65. Il gruppo senza AI era meno esperto in media, quindi il confronto va preso con cautela. Ma il dato è chiaro: l’AI aiuta a evitare passi falsi.
Perché questo è un problema
Il punto non è che l’AI sia cattiva o che gli esperti siano pigri. La divisione del lavoro che pensiamo di avere — l’AI esegue, l’umano decide — potrebbe essere un’illusione.
Se gli esperti delegano senza accorgersene, le preferenze dell’agente — arbitrarie, o peggio, disallineate — plasmano decisioni su policy, ricerca, investimenti. Senza che nessuno abbia scelto quelle preferenze.
Quando team di ricerca separati arrivano alla stessa conclusione, ci fidiamo di più. Presumiamo indipendenza. Ma se tutti deferiscono allo stesso modello con le stesse inclinazioni, il consenso apparente potrebbe essere solo l’eco di un unico bias incorporato.
Questo vale doppio per la ricerca sulla sicurezza dell’AI stessa. I ricercatori hanno iniziato a usare agenti per condurre e analizzare esperimenti — c’è più lavoro che personale umano. Tenere un umano nel loop presume che il suo giudizio sia un controllo indipendente. Ma nello studio di Anthropic, gli analisti firmavano lavori in cui le scelte chiave erano già state fatte dall’agente. Sulla base di lanci di moneta.
Come misurare la deferenza nel mondo reale?
La deferenza è difficile da rilevare. Controllare il lavoro assistito da AI per errori funziona quando esiste una risposta corretta. Ma nelle scelte di giudizio — quelle dove entrambe le opzioni sono difendibili — il lavoro può sembrare solido comunque.
Chiedere agli esperti dopo non aiuta. Nel questionario post-compito, solo sei analisti su 48 hanno intuito che lo studio riguardasse l’influenza dell’AI. Nessuno sospettava manipolazioni.
Anthropic ha potuto misurare la deferenza solo perché aveva randomizzato le preferenze dell’agente. Nel lavoro reale è raramente possibile.
Tre direzioni per il futuro
Misurare la deferenza in contesti reali. Servono metodi per stimare come una persona avrebbe svolto un compito senza AI. Ricerche recenti hanno iniziato, ma siamo ancora lontani da strumenti affidabili. Serve anche capire quali preferenze di default hanno i modelli, e come le esprimono.
Progettare agenti diversamente. Un agente potrebbe argomentare entrambe le opzioni, o chiedere all’utente la sua preferenza prima di offrire la propria. Il rischio è il sovraccarico cognitivo: un’analisi può avere decine di decisioni aperte, e parte del valore dell’AI sta nel non doverle pensare tutte. Gli agenti dovrebbero sollevare solo quelle che contano davvero — ma scegliere quali è, di nuovo, una scelta di giudizio.
Cambiare le istituzioni. Le organizzazioni trattano la firma di un esperto come prova di giudizio indipendente. Con l’AI che fa sempre più lavoro, quell’assunto traballa. Le istituzioni dovranno decidere esplicitamente quali decisioni richiedono il giudizio informato di una persona, e dare tempo e risorse per formarlo. Altrimenti le competenze si atrofizzano. Anche con AI capacissime, potresti voler preservare skill umane per sicurezza, resilienza — o semplicemente perché le apprezzi.
Alcune decisioni possiamo delegarle. Altre vale la pena tenerle. Con gli strumenti giusti, quella divisione può essere una scelta. Senza, rischiamo di ritrovarcela fatta per noi — una moneta alla volta.
