Eleven Realtime di ElevenLabs: due modelli vocali, Mini e Max
Un agente vocale che qualifica i contatti commerciali, risponde a una richiesta di assistenza o fissa un appuntamento deve ragionare e chiamare strumenti esterni senza far aspettare chi parla. È il caso d’uso che ElevenLabs indica per Eleven Realtime v1 Max, uno dei due modelli speech-to-speech (voce in ingresso, voce in uscita) presentati con la nuova famiglia Eleven Realtime. L’altro è v1 Mini, pensato per assistenti, tutor e personaggi interattivi. Per chi sviluppa: i modelli si scelgono in ElevenAgents oppure via API, compatibile con la Realtime API di OpenAI.
Secondo il blog di ElevenLabs, ogni modello è un agente vocale completo, ottimizzato per casi d’uso specifici: così non occorre scegliere e mettere a punto uno per uno i singoli componenti. Per la pagina del prodotto, riconoscimento vocale, gestione dei turni, LLM e voce sono ottimizzati insieme, come un unico sistema.
Mini e Max: a cosa serve ciascuno
v1 Mini è la versione a costo più basso, per conversazioni naturali e casi più semplici. ElevenLabs sostiene che sia sufficiente per la maggior parte dei casi d’uso. v1 Max aggiunge il ragionamento e punta ad assistenza clienti, qualificazione dei lead, pianificazione assistita e workflow in più passaggi con chiamate a strumenti.
Entrambi supportano oltre 90 lingue e le oltre 17.000 voci della libreria ElevenLabs. Le fonti non indicano prestazioni specifiche per l’italiano.
I numeri dei benchmark e come sono stati misurati
Secondo ElevenLabs, i risultati sono stati valutati in modo indipendente da Artificial Analysis su tre prove: Big Bench Audio (1.000 domande di ragionamento poste a voce), Full-Duplex-Bench (pause, turni di parola, interruzioni) e Speech Agent Arena (preferenze umane in conversazioni live alla cieca e successo nelle attività). Il tempo al primo audio è la media misurata su Big Bench Audio.
| Misura | v1 Mini | v1 Max |
|---|---|---|
| Tempo al primo audio | 620 ms | 570 ms |
| Big Bench Audio | 75,9% | 98,8% |
| Full-Duplex-Bench | 95,8% | 94,1% |
| Speech Agent Arena (Elo) | 988 | 998 |
| Successo nelle attività con strumenti | 60,3% | 87,1% |
ElevenLabs indica Max per i flussi di lavoro con molte chiamate a strumenti. Mini, invece, è davanti a Max solo nella prova sulle dinamiche conversazionali.
Come si usano: ElevenAgents o Realtime API
Nei workspace già abilitati, nella scheda Agent di ElevenAgents si imposta Voice mode su Realtime, si sceglie Mini o Max e si pubblicano le modifiche. Il rilascio è graduale. Prompt, strumenti e knowledge base restano utilizzabili. Prima dell’aggiornamento occorre rimuovere LLM personalizzati e override delle impostazioni gestite nei workflow; i trasferimenti richiedono agenti tutti in modalità Realtime. Max richiede almeno 1.024 token di limite, oppure nessun limite. La piattaforma porta lo stesso agente su telefono, widget web, WhatsApp e piattaforme di contact center, con guardrail, test su scenari e monitoraggio.
La Realtime API segue le specifiche di OpenAI: l’SDK OpenAI è riutilizzabile via WebSocket, aggiornando endpoint, modello e configurazione della sessione. Nel flusso browser il backend deve generare un client secret ElevenLabs senza esporre la chiave API; acquisizione e riproduzione dell’audio PCM16 a 24 kHz vanno gestite esplicitamente. Eventi del client e del server arrivano come da OpenAI, quindi gestori e strumenti di log restano validi. Nell’esempio di ElevenLabs, con l’SDK @openai/agents-realtime, l’indirizzo è wss://api.elevenlabs.io/v1/convai/realtime, il modello eleven_realtime_v1_mini e la voce «brian».
- Per migrare da OpenAI si può installare la skill con
npx skills add elevenlabs/skills --skill openai-realtime-migration. - Esiste anche la skill
realtimeper il setup iniziale. - Una guida alla migrazione elenca le differenze rispetto all’API di OpenAI.
I limiti dichiarati da ElevenLabs
- La Realtime API si connette solo via WebSocket e al lancio non supporta WebRTC: un’integrazione WebRTC deve prima passare a WebSocket.
- La Realtime API e ElevenAgents funzionano separatamente, con protocolli di connessione diversi. Canali (telefono, WhatsApp, contact center), knowledge base, guardrail, test e monitoraggio richiedono ElevenAgents, che ElevenLabs consiglia a chi parte da zero.
Costi, dati e sicurezza
In ElevenAgents i modelli Realtime seguono la tariffa standard al minuto di ElevenAgents, più il costo dell’LLM per token; il selettore del modello nell’app mostra una stima del costo al minuto. Con la Realtime API si paga per minuto di audio connesso più i token, con gli stessi prezzi dei token su ogni piano. Cifre e tariffe in euro non sono indicate nelle fonti, che rimandano alla pagina dei prezzi.
Sul fronte dei dati, la pagina del prodotto dice che i dati sono cifrati in transito e a riposo, con supporto a SOC 2, HIPAA e GDPR. Entrambi i modelli sono disponibili con residenza dei dati nell’UE, ma Zero Retention e HIPAA sono supportati soltanto da v1 Max negli ambienti USA e UE.
