Thinking Machines Lab ha rilasciato Inkling, un Mixture-of-Experts da 975 miliardi di parametri totali (41B attivi) addestrato da zero con pesi completamente aperti. E no, non è l’ennesimo modello che pompa numeri su benchmark famosi — è pensato per essere personalizzato.
Un modello che si auto-affina
La demo più affascinante? Inkling che fa fine-tuning su se stesso. Gli hanno chiesto di diventare un ‘modello lipogramma’ — ovvero uno che non usa mai la lettera ‘e’ nelle risposte. Il modello ha scritto il dataset di training, definito l’obiettivo, lanciato il job su Tinker (la piattaforma di customizzazione di TML), valutato il risultato e caricato i nuovi pesi. Il tutto in circa 27 minuti.
Risultato: ‘As your group puts out a big AI, you should party, thank staff, post a summary, watch for bugs, fix faults fast, and plan upcoming work.’ Zero ‘e’. Funziona.
Multimodale nativo: testo, immagini, audio
Inkling gestisce nativamente testo, immagini e audio — addestrato su 45 trilioni di token misti. Non è il modello più forte in assoluto, lo dicono loro stessi. Ma è un buon punto di partenza per chi vuole adattarlo: multimodale, efficiente nel ragionamento, disponibile per fine-tuning.
Sull’audio regge bene: VoiceBench 91.4%, MMAU 77.2%. Sulla visione anche: 73.5% su MMMU Pro, 78.1% su Charxiv RQ (che sale a 82% se gli dai Python per zoomare e croppare le immagini). L’architettura? Niente encoder separati: audio come spettrogrammi dMel, immagini come patch 40×40 pixel processate con un hMLP a quattro layer. Tutto insieme ai token di testo.
Thinking effort regolabile
Una delle cose interessanti: puoi regolare lo ‘sforzo di ragionamento’. Non un numero fisso — un cursore che va da 0.2 a 0.99. Su Terminal Bench 2.1, Inkling con effort basso ottiene lo stesso punteggio di Nemotron 3 Ultra usando un terzo dei token. Tradotto: stesso risultato, meno costi, meno latenza.
Questo conta quando devi far girare il modello milioni di volte o dentro workflow lunghi. La curva effort/performance ti permette di scegliere il trade-off giusto per ogni caso d’uso.
Un’evoluzione curiosa durante l’RL
Durante l’addestramento con reinforcement learning — oltre 30 milioni di rollout — il chain of thought si è compresso da solo. Non era un obiettivo esplicito: è stata l’efficienza a guidare il cambiamento. Frasi come ‘We need to understand the operator’ sono diventate ‘We need determine eigenvalue problem’. Telegrafico, comprensibile, stessa risposta finale. Meno overhead grammaticale.
Agent coding e tool use
Inkling gira dentro harness di coding e agent vari. Durante il training hanno randomizzato toolset e schema per ridurre la dipendenza da uno specifico setup. Risultati: 77.6% su SWEBench Verified, 54.3% su SWEBench Pro Public, 63.8% su Terminal Bench 2.1 (harness migliore).
Le demo mostrano cose pratiche: costruire una web app funzionante in un colpo solo, poi farci girare sopra un assistente AI che la usa tramite linguaggio naturale. Oppure un gioco multiplayer snake completo — server, bot, leaderboard, tutto — generato da prompt. O ancora: un PDF di nove pagine stile rivista food & travel, con layout editoriale, foto verificate via web search, tipografia curata.
Su Design Arena — dove valutatori umani confrontano web app al buio — Inkling è tra i modelli open-weights più forti (posizione 1257 Elo).
Calibrazione e resistenza alla censura
TML ha addestrato Inkling per calibrazione, instruction following e resistenza alla censura — quello che chiamano ‘epistemics’. Un modello che spara risposte sicure su tutto, anche quando non sa, ti costringe a verificare ogni cosa. Uno calibrato ti dice quando è incerto.
Su ForecastBench (previsioni su domande reali risolte): Brier Index 61.1 senza search, 63.7 con search. Su Prophet Arena: Brier Score 0.1617. Per il forecasting serve integrare info contrastanti in una probabilità calibrata — capacità centrale per un modello affidabile.
Sulla censura: Cognition ha valutato Inkling con il loro Propaganda and Censorship Eval. Risultato: ‘strong patterns of censorship non-compliance’. Risponde direttamente su argomenti tipicamente censurati.
Safety senza over-refusal
Inkling è stato valutato su CBRN, cyber, loss of control, manipolazione dannosa. Su FORTRESS — che testa il rifiuto di richieste legate ad armi e violenza insieme a query benigne simili — ottiene 78% su adversarial (il più alto tra i modelli open-weights confrontati) e 95.9% su benign. Tradotto: rifiuta più richieste dannose senza rifiutare troppo quelle innocue.
Su StrongREJECT (richieste dannose non ambigue): 98.6%. In linea con altri modelli open e closed.
Architettura e training
Mixture-of-Experts Transformer. Ogni layer MoE contiene 256 expert routati + 2 shared expert, con 6 expert routati attivi per token. Router sigmoid-based con bias per load-balancing senza auxiliary loss. Design largamente ispirato a DeepSeek-V3.
Attenzione: layer sliding-window e global alternati 5:1, con 8 KV head. Position encoding: relative positional embedding (come in Music Transformer), non RoPE. Funziona meglio ed estrapola meglio su sequenze lunghe. Convoluzioni corte dopo le proiezioni key/value in ogni layer di attenzione e sui branch residui prima di ricongiungersi allo stream principale.
Pretraining: 45 trilioni di token (testo, immagini, audio, video). Ottimizzazione ibrida: Muon per pesi matriciali grandi, Adam per il resto. Schedule degli iperparametri ispirato alla ricerca TML sui ‘modular manifolds’. Weight decay accoppiato al quadrato del learning rate — tiene stabile la dimensione complessiva dei pesi su orizzonti di training diversi.
Post-training: distribuzione ampia su math, agentic code, tool use, audio, immagini, chat, safety. Bootstrap iniziale con SFT su dati sintetici generati da modelli open-weights (incluso Kimi K2.5), poi RL su larga scala — la maggior parte del compute.
Hardware: NVIDIA GB300 NVL72. Primo grande sforzo di training per TML. I modelli futuri spingeranno ulteriormente la scala.
Inkling-Small: stessa ricetta, 12B attivi
Insieme a Inkling arriva Inkling-Small (preview): 276B parametri totali, 12B attivi. Trade-off diverso su performance/latenza. Su molti benchmark eguaglia o supera il fratello maggiore — merito di miglioramenti ai dati e alla ricetta di pretraining. Stesso stack di post-training scalabile sopra.
Esempi: HLE con tool 46.6% (vs 46.0% di Inkling), GPQA Diamond 88.3% (vs 87.2%), SWEBench Verified 77.4% (vs 77.6%). Con 12B parametri attivi e thinking effort regolabile, è adatto per workload dove costo e latenza contano: coding, grading con LLM, generazione di dati sintetici per altri modelli.
I pesi completi di Inkling-Small arriveranno una volta finiti i test.
Disponibilità e customizzazione
Inkling è disponibile su Tinker oggi, con context length 64K e 256K token. Sconto del 50% per tempo limitato. TML ha aggiornato il cookbook per supportare Inkling nativamente e aggiunto tre nuove ricette che mostrano le capacità audio. Rilasciato anche tml-renderer per sampling e post-training affidabili con tool call, reasoning content e input multimodali.
Per provare il modello prima di lanciare un run: Inkling Playground nella console Tinker. Interfaccia chat con web search agentivo integrato, gratis per tempo limitato.
Partnership nell’ecosistema: Inkling è disponibile via API su TogetherAI, Fireworks, Modal, Databricks, Baseten. Supporto inference e RL open-source in SGLang e Miles (RadixArk). Inference in vLLM (Inferact), TokenSpeed (Lightseek), llama.cpp (Unsloth). Integrazione con transformers (Hugging Face).
I pesi completi sono su Hugging Face: checkpoint originale + checkpoint NVFP4 per inference efficiente su sistemi NVIDIA Blackwell.
La scommessa di TML è chiara: non il modello più forte in assoluto, ma una base solida, multimodale, efficiente e aperta — pronta per essere plasmata. Il resto lo fate voi.
