Gli agenti AI dovrebbero fare molto più che rispondere a domande. Dovrebbero operare software, chiamare strumenti, ispezionare risultati intermedi e produrre artefatti di alta qualità — slide deck, fogli di calcolo, pagine web, scene 3D, progetti CAD, produzioni audio. Il problema? La maggior parte delle skill library esistenti sono scritte a mano, basate su testo, o derivate dalle tracce degli agenti stessi. E i tutorial video? Quelli che gli esseri umani guardano realmente per imparare? Largamente ignorati.
I ricercatori di Microsoft Research hanno appena pubblicato Resource2Skill, un framework che distilla risorse multimodali — video tutorial, repository, articoli, artefatti di riferimento — in skill eseguibili per agenti software. Non stiamo parlando di riassunti testuali dei video. Stiamo parlando di una Skill Wiki gerarchica multimodale dove ogni entry combina testo strutturato, codice, esempi visivi, metadata e provenienza.
Il problema con i tutorial video (e perché nessuno li usa)
Ecco il paradosso. I modelli di frontiera hanno visto quantità massive di testo durante il pretraining. Le risorse testuali vengono sfruttate regolarmente tramite retrieval e search. Ma le risorse multimodali ad alta dimensionalità? Rimangono molto più difficili da usare efficacemente a tempo di inferenza.
Mettere video raw nella memoria di un agente è costoso, ridondante e spesso impraticabile. Un singolo tutorial può contenere minuti di setup irrilevante, narrazione ripetuta e dettagli visivi importanti solo in pochi momenti chiave. Allo stesso tempo, comprimere il video in un semplice riassunto testuale scarta precisamente l’informazione che rende il video utile: operazioni dinamiche, cambiamenti visivi prima-dopo, qualità dell’animazione, layout spaziale, timing e ordine di interazione con gli strumenti.
‘La sfida è estrarre il segnale procedurale dai video e da altre risorse, normalizzarlo in una rappresentazione riutilizzabile e organizzare la conoscenza risultante in modo che gli agenti possano recuperare ed eseguire efficacemente la skill giusta per una nuova richiesta utente’ spiegano i ricercatori.
Come funziona Resource2Skill
Il framework si articola in quattro stage: construction, organizzazione wiki, selezione ed esecuzione. La scelta progettuale centrale? Trattare la costruzione delle skill e il loro uso come una pipeline unificata.
Offline, il sistema distilla risorse su larga scala in un domain wiki per scenari software commerciali importanti. A tempo di inferenza, dato un requirement utente, l’agente naviga prima l’indice gerarchico per formare un pool di skill candidate, poi legge le entry multimodali rilevanti e le compone durante l’esecuzione.
Ogni skill è una tupla che contiene: percorso nella tassonomia del dominio, contenuto testuale (nome, meccanismo, applicabilità, input, effetti attesi), contenuto visivo (thumbnail, screenshot, preview renderizzate, diagrammi), codice eseguibile o adattabile, e metadata per filtering, auditing e provenienza.
Quando la libreria offline non copre una capability richiesta? Lo stesso operatore resource-to-skill può essere invocato online per cercare nuove risorse, estrarre skill aggiuntive ed estendere incrementalmente la libreria. Il sistema non è quindi una collezione fissa di prompt, ma una memoria procedurale in crescita e manutenibile.
I numeri che contano
I ricercatori hanno valutato Resource2Skill su sette domini pratici di authoring software: slide design (PPT), drafting 2D (CAD), web (HTML/CSS/JS), spreadsheet (Excel), scene 3D (Blender), real-time 3D (UE5) e produzione audio (Reaper). Domini scelti perché richiedono forme diverse di conoscenza procedurale — alcuni dipendono pesantemente da codice e convenzioni API, alcuni da design visivo e layout, altri da operazioni temporali naturalmente veicolate dal video.
Risultato? Resource2Skill migliora lo score complessivo medio di +11.9 punti percentuali rispetto agli stessi agenti senza skill. E supera baseline agentic-harness forti (ClaudeCode e Codex) in 26 celle aggregate su 28. Non è poco.
I guadagni si concentrano dove le convenzioni di authoring sono dense e costose da ri-derivare da un prompt. Blender, Web e soprattutto UE5 — dove il guadagno arriva a +30/+40 punti percentuali. Perché? L’agente a codice libero raramente assembla una scena minimamente viable attraverso l’API Python di UE5 e frequentemente ritorna artefatti sotto la soglia minima di qualità del dominio.
Video: la fonte insostituibile
L’ablation sulle fonti rivela qualcosa di interessante. Tenere fuori i video (usando solo Code+Article+Artifact) fa crollare la media dal 68.9% al 59.4%. La libreria video-only batte ancora la libreria a tre fonti senza video di 7.4 punti.
Il calo da rimozione-video si concentra dove operazioni temporali e sequencing visivo portano segnale che il testo sotto-specifica: Excel -14.2 punti percentuali, Web -11.5 pp. Oltre al video, nessuna famiglia supplementare domina, ma il pool all-source resta 0.3-0.9 pp avanti rispetto alla variante a due fonti più forte in ogni dominio. La diversità aggiunge copertura assicurativa sopra il video.
Rappresentazione multimodale vs memoria testuale curata
L’ablation matched-budget isola il contenuto multimodale delle skill dalla memoria testuale curata. Tutte le condizioni condividono pool di risorse, ID skill accettati, frontmatter/metadata wiki, budget BM25-then-LM, agente GPT-4 e judge. Cambia solo il contenuto post-retrieval.
Il solo testo raggiunge 65.0% perché eredita già cue di applicabilità e routing. I visual aggiungono +1.9 pp, il codice aggiunge +2.0 pp, e Full (testo+visual+codice) si classifica primo in ogni dominio al 68.9%. Il guadagno rimanente è attribuibile al contenuto multimodale delle skill piuttosto che alla sola memoria curata.
Scaling e acquisizione online
Lo studio di scaling mostra che le performance crescono monotonicamente con la dimensione della libreria in ogni dominio e saturano vicino a 200 skill. Il primo slice 0→200 porta i guadagni maggiori (tra +3.1 pp su Reaper e +14.2 pp su Excel); la curva si appiattisce dopo 200 e lo step 400→Full aggiunge al massimo +0.8 pp per dominio.
Le prime entry coprono operazioni comuni e routine di recovery; le entry successive riempiono gap domain-specific.
L’acquisizione online rivela un’asimmetria netta. Sul task set standard, l’online aggiunge +0.7 pp — essenzialmente rumore, dato che il pool offline copre già la maggior parte delle richieste comuni. Sul task set novel (stress-test su capability che il pool offline non copriva), gli stessi 100 skill online sollevano lo score medio dal 41.2% al 62.8% (+21.6 pp). La ricerca online è un gap-filler, non un booster.
Strategia di selezione: gerarchia prima, LM dopo
L’ablation sulla strategia di selezione confronta sei approcci: MetaBrowse (hierarchy-then-LM), BM25, Embed (dense retrieval standard), BM25+Embed, Random-FullPool e No-Skill.
MetaBrowse vince in ogni dominio, con media 68.9% contro 66.0% per BM25, 64.2% per BM25+Embed, 60.0% per Embed, 58.0% per Random e 57.3% per No-Skill. I margini maggiori rispetto alla baseline retrieval-only più forte sono su Excel (+5.0 pp), PPT (+3.8) e Blender (+2.3) — dove task fit e complementarità non vengono catturati da similarità lessicale o vettoriale da soli.
Implicazioni pratiche
Resource2Skill dimostra che distillare skill da risorse create da umani — soprattutto video tutorial — fornisce agli agenti software conoscenza procedurale riutilizzabile che migliora rispetto sia ad agenti senza skill che a harness agentici forti attraverso domini di authoring diversi.
Il codice è pubblico (aka.ms/Resource2Skill), quindi aspettatevi implementazioni e varianti nei prossimi mesi. Quello che cambia? Gli agenti non dovranno più re-inventare la ruota ogni volta. Potranno guardare — letteralmente guardare — come gli umani risolvono i problemi e tradurre quelle osservazioni in azioni eseguibili.
Il futuro degli agenti AI passa da YouTube. Chi l’avrebbe detto.
