Alibaba ha appena rilasciato Qwen3.8-Flash-Next, e no, non è l’ennesimo modello della serie. È un’anteprima dell’architettura che userà Qwen4. Stesso copione di Qwen3-Next: ti mostrano le carte prima di costruirci sopra l’intera famiglia di modelli. Così la community può smontarla, testarla, criticarla.
Il modello ha 125 miliardi di parametri totali, ma ne attiva solo 6 miliardi per token. Sì, avete letto bene: 6B attivi. Poi ci sono altri 51 miliardi di parametri dedicati agli N-gram Embedding, che però stanno in RAM e non occupano GPU. Il risultato? Costa 1/9 dell’addestramento di Qwen3.7-Plus, eppure performa meglio su coding e task di produttività.
Quattro innovazioni, un solo obiettivo: efficienza estrema
L’architettura si muove su quattro assi. Non sono ritocchi cosmetici, sono scelte che ridefiniscono come il modello gestisce attenzione, flusso di informazioni, memoria e ottimizzazione.
Attenzione: GDN + QSA, ovvero ‘ricorda bene, recupera meglio’
L’attenzione tradizionale guarda tutti i token precedenti. Funziona, ma con contesti lunghi diventa un salasso computazionale. Qwen3.8-Flash-Next usa un ibrido: tre layer su quattro usano Gated DeltaNet (GDN) per comprimere la storia in uno stato fisso. Il quarto layer usa Qwen Sparse Attention (QSA) per recuperare informazioni precise dall’intero contesto.
QSA è furbo: invece di indicizzare ogni singolo token (come fa DeepSeek DSA), aggrega la sequenza in micro-blocchi, stima l’importanza a livello di blocco, e seleziona solo le regioni rilevanti. Meno calcoli per l’attenzione, meno calcoli per decidere dove guardare. A un milione di token, il kernel di attenzione QSA è fino a 7,6× più veloce in prefill e 4,9× in decode. Con il 90% di Prefix Cache hit — scenario tipico dei servizi online — il throughput in prefill è 8,6× quello di Qwen3.7-Plus.
Residual: quattro branch invece di uno solo
Nei Transformer classici, tutti i layer leggono e scrivono sullo stesso flusso residuo. Più il modello è profondo, più i segnali iniziali si diluiscono. Gated Residual (GR) espande quel singolo canale in quattro branch paralleli. Il modello decide dinamicamente quanto leggere da ciascun branch e quanto scrivere su ciascuno.
Alcune branch gestiscono informazioni locali, altre preservano dati iniziali fino agli strati profondi. L’analisi empirica mostra che una branch emerge naturalmente come ‘autostrada lunga’, collegando il primo layer di attenzione a quasi tutti quelli successivi. Bonus: il gate sopprime gli outlier di attivazione e migliora la stabilità in training. E il Residual State può stare in FP8, riducendo ulteriormente il traffico di memoria.
Embedding: 51 miliardi di parametri quasi gratis
Un embedding classico fa lookup su un singolo token. N-gram Embedding fa lookup sul contesto locale: token corrente più i precedenti. Fornisce rappresentazioni extra per frasi comuni e pattern locali. Il vantaggio? Aggiungi una valanga di parametri con quasi zero calcoli aggiuntivi per token.
Qwen3.8-Flash-Next ha 51 miliardi di parametri N-gram. Siccome le posizioni di lookup sono note in anticipo, questi parametri stanno in RAM e vengono prefetchati in modo asincrono mentre il modello lavora. Non occupano permanentemente la GPU. È tipo avere una ‘memoria di pattern locali’ enorme, a costo contenuto.
Ottimizzazione: Muon, niente più warmup del batch
Il modello è addestrato con l’ottimizzatore Muon, con raffinamenti su ortogonalizzazione, divisione del lavoro tra Muon e AdamW, e splitting delle matrici fuse. Parametri che fungono da mappe lineari bidimensionali (attention, GDN, MoE experts) usano Muon. Embeddings, router MoE e parametri low-rank in GR continuano con AdamW.
La Scaling Law è stata rifittata per la nuova architettura. Risultato: learning rate e batch size più grandi, convergenza più veloce. E hanno scoperto che il Batch Size Warmup — aumentare gradualmente il batch size, pratica comune nei training large-scale — non serve più. Anzi, costa il 18,8% di step in più senza benefici. Quindi partono direttamente con il batch size target.
Performance: batte modelli più grandi spendendo meno
Qwen3.8-Flash-Next con 6B parametri attivi surclassa Qwen3.8-27B (27B parametri densi) e compete con Qwen3.7-Plus (397B parametri, 17B attivi) su quasi tutti i benchmark. Su DeepSWE 1.1 ottiene 58,7 contro il 54,4 di DeepSeek-V4-Flash. Su CoWorkBench — un benchmark interno per task di produttività a lungo orizzonte — arriva a 73,9, contro il 45,1 di DeepSeek-V4 e il 68,2 di Claude Opus 4.6.
Sul fronte multimodale, domina su AndroidWorld (84,5), OSWorld 2.0 (19,4 binary, 52,3 partial), Vision2Web (64,0) e ERQA (72,3). Claude Opus 4.6 su AndroidWorld si ferma a 62,0. Su MathVision con Chain of Inference arriva a 95,7.
Il modello base (pre-instruct) vince su 8 dei 14 benchmark testati: MMLU-Pro, SuperGPQA, BBH, GSM8K, EvalPlus, SWEBench-Pretrain, MGSM e MMMLU. E rimane vicinissimo a Qwen3.7-Plus sugli altri.
Contesto nativo da 262k, estensibile a 1 milione
Il modello supporta nativamente 262.144 token di contesto. Con YaRN si estende fino a un milione. La versione production su QwenCloud parte direttamente con 1M di contesto e tool built-in. Prezzo: 0,16 USD per milione di token in input, 0,47 per milione in output.
Integrazione con tool e framework
Qwen3.8-Flash-Next si integra direttamente con Claude Code, Codex, Qoder CLI, Qwen Code e OpenClaw. Le API QwenCloud supportano sia il protocollo OpenAI che quello Anthropic. Significa che potete usarlo come drop-in replacement in quasi qualsiasi stack esistente.
QwenWork — la piattaforma di produttività AI di Alibaba — ha appena integrato Qwen3.8-Flash-Next nella modalità ‘Standard’, sfruttando efficienza e capacità del modello per automatizzare task quotidiani e accelerare operazioni aziendali.
Perché rilasciare l’architettura in anticipo
Alibaba fa la stessa mossa che fece con Qwen3-Next: rilascia l’architettura prima di costruirci sopra l’intera famiglia Qwen4. L’hybrid Gated DeltaNet + Gated Attention introdotto allora è stato poi usato in Qwen3.5, 3.6, 3.7 e 3.8. Ora mostrano le carte di nuovo. La community può valutarla, romperla, suggerire miglioramenti. Quando arriverà Qwen4, l’architettura sarà già stata testata sul campo.
I pesi sono disponibili su Hugging Face e ModelScope. Il report tecnico completo è su GitHub. Non è marketing, sono 2350 parole di decisioni architetturali documentate, ablation study e scaling law. Se volete capire davvero come funziona, è tutto lì.
