Allora. Claude adesso può aprire app, cliccare bottoni, fare screenshot e controllare il tuo schermo direttamente dal terminale. Non sto scherzando. Anthropic ha rilasciato “computer use” per Claude Code, e la cosa è… boh, impressionante? Inquietante? Entrambe?
Cosa può fare esattamente
Ok, partiamo dal concreto. Claude può:
- Compilare un’app Swift, lanciarla, cliccare ogni singolo bottone e screenshottare il risultato – tutto nella stessa conversazione dove ha scritto il codice
- Aprire il tuo Electron app locale e testare l’onboarding flow cliccando attraverso il signup. Zero configurazione Playwright, zero test harness
- Riprodurre bug visivi ridimensionando finestre, patchare il CSS e verificare il fix. Claude vede letteralmente quello che vedi tu
- Controllare tool GUI-only: design software, pannelli di controllo hardware, il simulatore iOS, roba proprietaria senza CLI né API
Ecco il punto che mi ha colpito: Claude prova sempre lo strumento più preciso prima di usare il controllo dello schermo. Se hai un server MCP per quel servizio, usa quello. Se è un comando shell, usa Bash. Se è roba browser e hai Claude in Chrome configurato, usa quello. Il controllo dello schermo è l’ultima risorsa – per app native, simulatori, tool senza API.
Come si abilita (spoiler: ci sono prompt di permessi)
Computer use arriva come server MCP built-in chiamato computer-use. Disabilitato di default finché non lo abiliti tu.
Apri il menu MCP con /mcp in una sessione interattiva, trovi computer-use nella lista server marcato come disabled, lo abiliti. Setting persistente per progetto – lo fai una volta sola per ogni progetto dove vuoi computer use.
La prima volta che Claude prova a usare il tuo computer, macOS ti chiede due permessi:
- Accessibility: per cliccare, scrivere, scrollare
- Screen Recording: per vedere cosa c’è sullo schermo
Il prompt include link diretti ai pannelli System Settings rilevanti. Devi concedere entrambi, poi selezionare “Try again” nel prompt. macOS potrebbe chiederti di riavviare Claude Code dopo aver dato Screen Recording.
Approvi le app sessione per sessione
Abilitare il server computer-use non garantisce a Claude accesso a ogni app sulla tua macchina. La prima volta che Claude ha bisogno di un’app specifica in una sessione, appare un prompt nel terminale che mostra:
- Quali app Claude vuole controllare
- Eventuali permessi extra richiesti tipo accesso clipboard
- Quante altre app verranno nascoste mentre Claude lavora
Scegli “Allow for this session” o “Deny”. Le approvazioni durano per la sessione corrente. Puoi approvare multiple app insieme quando Claude le richiede simultaneamente.
Le app con reach ampio mostrano un warning extra nel prompt – così sai cosa stai concedendo approvandole:
- Equivalente ad accesso shell: Terminal, iTerm, VS Code, Warp e altri terminali e IDE
- Può leggere o scrivere qualsiasi file: Finder
- Può cambiare system settings: System Settings
Queste app non sono bloccate. Il warning ti lascia decidere se il task garantisce quel livello di accesso.
Il livello di controllo di Claude varia anche per categoria app: browser e piattaforme trading sono view-only, terminali e IDE sono click-only, tutto il resto ha controllo pieno.
Come Claude lavora sul tuo schermo
Una sessione alla volta
Computer use tiene un lock machine-wide mentre attivo. Se un’altra sessione Claude Code sta già usando il tuo computer, nuovi tentativi falliscono con un messaggio che ti dice quale sessione tiene il lock. Devi finire o uscire da quella sessione prima.
Le app vengono nascoste mentre Claude lavora
Quando Claude inizia a controllare il tuo schermo, altre app visibili vengono nascoste così Claude interagisce solo con le app approvate. La finestra del terminale resta visibile ed è esclusa dagli screenshot – puoi guardare la sessione e Claude non vede mai il proprio output.
Quando Claude finisce il turno, le app nascoste vengono ripristinate automaticamente.
Ferma in qualsiasi momento
Quando Claude acquisisce il lock, appare una notifica macOS: “Claude is using your computer · press Esc to stop”. Premi Esc ovunque per abortire l’azione corrente immediatamente, o premi Ctrl+C nel terminale. In entrambi i casi, Claude rilascia il lock, ripristina le tue app e ti restituisce il controllo.
Una seconda notifica appare quando Claude ha finito.
Safety e trust boundary (qui la parte inquietante)
A differenza del Bash tool sandboxed, computer use gira sul tuo desktop reale con accesso alle app che approvi. Claude controlla ogni azione e flagga potenziale prompt injection da contenuto on-screen, ma il trust boundary è diverso.
I guardrail built-in riducono il rischio senza richiedere configurazione:
- Approvazione per-app: Claude può controllare solo app che hai approvato nella sessione corrente
- Sentinel warnings: app che garantiscono accesso shell, filesystem o system settings vengono flaggate prima che tu approvi
- Terminale escluso dagli screenshot: Claude non vede mai la finestra del terminale, quindi prompt on-screen nella tua sessione non possono fare feedback nel modello
- Escape globale: il tasto
Escaborta computer use da ovunque, e la pressione del tasto viene consumata così prompt injection non può usarla per dismissare dialog - Lock file: solo una sessione può controllare la tua macchina alla volta
Workflow di esempio
Validare un native build
Dopo aver fatto modifiche a un’app macOS o iOS, chiedi a Claude di compilare e verificare in un colpo solo:
Build the MenuBarStats target, launch it, open the preferences window, and verify the interval slider updates the label. Screenshot the preferences window when you’re done.
Claude esegue xcodebuild, lancia l’app, interagisce con la UI e riporta cosa trova.
Riprodurre un layout bug
Quando un bug visivo appare solo a certe dimensioni finestra, lascia che Claude lo trovi:
The settings modal clips its footer on narrow windows. Resize the app window down until you can reproduce it, screenshot the clipped state, then check the CSS for the modal container.
Claude ridimensiona la finestra, cattura lo stato rotto e legge i stylesheet rilevanti.
Testare un simulator flow
Controlla l’iOS Simulator senza scrivere XCTest:
Open the iOS Simulator, launch the app, tap through the onboarding screens, and tell me if any screen takes more than a second to load.
Claude controlla il simulatore esattamente come faresti tu con un mouse.
Requisiti (e limitazioni)
Computer use è research preview su macOS che richiede piano Pro o Max. Non disponibile su piani Team o Enterprise. Richiede Claude Code v2.1.85 o successivo e sessione interattiva – quindi non disponibile in modalità non-interattiva con flag -p.
E funziona solo se sei autenticato tramite claude.ai. Non disponibile con provider terze parti come Amazon Bedrock, Google Cloud Vertex AI o Microsoft Foundry. Se accedi a Claude esclusivamente tramite provider terze parti, serve un account claude.ai separato per usare questa feature.
Troubleshooting veloce
“Computer use is in use by another Claude session”
Un’altra sessione Claude Code tiene il lock. Finisci il task in quella sessione o esci. Se l’altra sessione è crashata, il lock viene rilasciato automaticamente quando Claude rileva che il processo non sta più girando.
Prompt permessi macOS continua a riapparire
macOS a volte richiede restart del processo richiedente dopo che concedi Screen Recording. Chiudi Claude Code completamente e avvia nuova sessione. Se il prompt persiste, apri System Settings → Privacy & Security → Screen Recording e conferma che la tua app terminale sia listata e abilitata.
computer-use non appare in /mcp
Il server appare solo su setup eligibili. Controlla che:
- Sei su macOS (non disponibile su Linux o Windows)
- Stai eseguendo Claude Code v2.1.85 o successivo (
claude --versionper verificare) - Sei su piano Pro o Max (
/statusper confermare subscription) - Sei autenticato tramite claude.ai
- Sei in sessione interattiva (non disponibile in modalità non-interattiva con flag
-p)
