Un agente vocale che ascolta in francese, ragiona in inglese e risponde con l’emozione giusta. Voxtral 3 arriva con un SDK completo, modelli speech-to-text e text-to-speech, e la promessa di far funzionare tutto insieme in tempo reale. Sì, quella cosa che finora nessuno ha davvero risolto.
Costruire assistenti vocali che funzionano è sempre stato un casino. Non basta trascrivere bene o generare voci carine. Serve che quattro cose girino alla perfezione, tutte insieme: ascoltare (anche se l’accento è strano e la linea fa schifo), ragionare (capire cosa intende davvero l’utente), parlare (con emozione, non come un robot del 2010), e agire (chiamare API, prenotare, verificare dati). In tempo reale. Senza lag imbarazzanti.
Cosa porta sul tavolo Voxtral 3
Mistral ha rilasciato una famiglia di modelli vocali — Voxtral Small Transcribe 3 per la trascrizione, Voxtral Mini TTS 3 per la sintesi vocale — e un SDK che li lega in una pipeline streaming. L’idea: creare agenti che non si limitano a rispondere, ma che eseguono — recuperano informazioni, interagiscono con sistemi aziendali, completano task durante la telefonata. Contact center, assistenti virtuali, copiloti hands-free. In oltre 50 lingue.
Trascrizione: stato dell’arte
Voxtral Small Transcribe 3 batte Whisper large-v3, Scribe v2 e Gemini 3.5 Transcribe sui benchmark multilingue (FLEURS, 45 lingue), diarizzazione e context-biasing. Il Word Error Rate medio su FLEURS? 4,1% in modalità forced e 4,0% in inferred. Whisper large-v3 si ferma a 14,9% — quella cifra che fa la differenza tra un trascrittore affidabile e uno da cui devi sempre ricontrollare tutto.
Supporta 50+ lingue, incluse 24 lingue ufficiali UE e diverse lingue asiatiche e indiane a basse risorse. La versione Mini da 4 miliardi di parametri costa $0,0035 al minuto.
Diarizzazione: chi ha parlato, e quando
Voxtral Small Transcribe 3 raggiunge un cpWER del 18,4% su benchmark pubblici (AMI, Switchboard, AISHELL-4). Microsoft AI Transcribe 2 si ferma a 20,3%, Scribe v2 a 23,0%, Gemini 3.5 Transcribe a 38,4%. Meno casino quando devi capire chi ha detto cosa in una riunione o una chiamata multi-speaker.
Context-biasing: dai nomi, ottieni nomi
Il recall su keyphrases (benchmark Earnings 22) sale al 94,6% quando fornisci il contesto — nomi, termini tecnici, acronimi. Senza contesto, 81,4%. La differenza tra trascrivere “Quivello” correttamente o ritrovarti “chivello”, “kivello”, “qui bello”.
Voce in tempo reale: latenza sub-500ms
Voxtral Mini Realtime 3 è costruito per use case agentici: trascrizione in tempo reale con diarizzazione e context-biasing, latenza sotto i 500ms, 35+ lingue. Il WER a 480ms di latenza è 6,4%, contro l’8,4% di GPT Live Transcribe e l’8,7% di Scribe v2 Realtime.
L’end-of-turn detection è nativa. Combina informazioni acustiche e semantiche per capire quando l’utente ha finito di parlare, senza tagliare la frase a metà come fanno certi assistenti che tutti conosciamo e odiamo.
Text-to-speech: emozione, contesto, dialetto
Voxtral Mini TTS 3.0 supporta 35+ lingue e 50+ dialetti. Costa $13 per milione di caratteri — meno di OpenAI TTS-1, Deepgram, ElevenLabs Flash e Gemini Flash. Ma il punto non è solo il prezzo.
Il modello interpreta il contesto semantico per generare speech naturale — emozione, ritmo, enfasi — senza istruzioni esplicite. Vuoi controllare manualmente? Puoi specificare emozione, pacing, emphasis. Oppure lasci che il modello capisca da solo se deve suonare eccitato, arrabbiato, formale, amichevole.
Voice cloning
Con 30+ minuti di audio campione, Voxtral può clonare una voce: timbro, carattere emotivo, stile. La chiamano Pro Voice Adaptation, ed è pensata per use case professionali dove il cloning base non basta — voce di un brand, di un assistente aziendale, di una figura pubblica (con permesso, si spera).
Pronuncia su misura
Puoi fornire hint fonetici IPA per parole rare, acronimi, nomi inventati. “GIF” pronunciato /dʒɪf/? “Reims” come /ʁeims/? “Xyra” come /zaɪɹə/? Il modello segue le tue istruzioni. Sul Voice Code Bench (benchmark BeSimple AI su numeri e nomi unici in contesti enterprise), Voxtral tiene testa a Eleven v4, Inworld TTS-2 e Cartesia Sonic a un terzo del costo.
SDK agenti vocali: tutto in un flusso
L’SDK, costruito su LiveKit, lega trascrizione, ragionamento (con Mistral Small o altri LLM), function calling e sintesi vocale in una pipeline streaming. Nessuno stadio aspetta il precedente. Ogni turno si completa in meno di un secondo. L’agente smette di parlare se lo interrompi.
Durante la chiamata, l’agente può verificare l’identità, controllare una fattura, prenotare un appuntamento — usando chiamate a funzione, ricerca web, retrieval sui tuoi sistemi. Risponde e piazza chiamate via SIP, gira in browser e app via WebRTC, si connette al tuo software di telefonia, IVR, contact center.
Ogni stadio è un modello separato. Vuoi cambiare LLM, voce o lingua? Lo fai senza riscrivere l’agente. Puoi girare tutto su API Mistral (endpoint EU, US, globali) o deployare on-premise.
Sovranità dei dati
Come per gli altri modelli Mistral, Voxtral 3 supporta deployment sovrano: API hostata in Europa o self-deploy sulla tua infra. Controlli dove viene processato l’audio, come vengono gestiti i dati, se le conversazioni vengono trattenute. In settori regolamentati — finanza, sanità, pubblica amministrazione — non è un nice-to-have, è un requisito.
Prezzi
- Voxtral Mini Transcribe 3 (batch): $0,0035/min
- Voxtral Mini Transcribe Realtime 3: $0,008/min
- Voxtral Small Transcribe 3: $0,004/min
- Voxtral Speech 3 (batch e realtime, stessa API): $13/1M caratteri
- API agenti vocali con Mistral Small 4: $0,04/min
- API agenti vocali con altri LLM: $0,08/min
Per deployment on-premise o private cloud, bisogna parlare con il team commerciale.
Disponibilità
Tutto disponibile oggi. Puoi testare agenti vocali, trascrizione audio, sintesi vocale e voice cloning nei playground di Mistral Studio, o integrare via API e iniziare a costruire.
Ora resta da vedere se terrà la promessa in produzione — quella dove gli utenti veri hanno accenti impossibili, connessioni di merda, e aspettative alte.
