Block presenta Dessa, il modello vocale addestrato solo su conversazioni
In una delle registrazioni pubblicate da Block una persona non ricorda il titolo di un film e Dessa finisce la frase al posto suo. È una delle demo con cui Block presenta Dessa, un modello vocale speech-to-speech (audio in ingresso, audio in uscita, senza passare dal testo) full-duplex, cioè capace di ascoltare e parlare nello stesso momento. Il modello è stato addestrato da zero solo su conversazioni umane in forma di suono. Per chi vuole provarlo c’è una lista d’attesa; Block dice che gira in locale su un MacBook Pro M4 Max o superiore.
Cosa sa fare Dessa, dalle demo di Block
Secondo Block, le registrazioni sono conversazioni dal vivo tra una persona e Dessa. Nessuno guida il modello: sceglie da sé cosa dire, quando e come, compresi voce e personalità. I sottotitoli sono stati aggiunti in un secondo momento.
Alcuni esempi, secondo Block:
- nella demo sull’anniversario a sorpresa, Dessa sussurra «oh my god» e risponde con quella che la pagina descrive come gratitudine commossa;
- ride nel momento in cui qualcosa è divertente, a metà frase; se gli si chiede di parlare più forte, alza il volume, e secondo Block nessuno gliel’ha insegnato;
- nella demo sui consigli di vita, la pagina lo definisce genuinamente empatico.
Due registrazioni mettono Dessa a parlare con GPT-Live-1, un modello di terzi. Block precisa che entrambe le voci sono generate dall’IA e che lo sviluppatore di GPT-Live-1 non è affiliato a Block e non ha esaminato né approvato Dessa. Altri campioni sono elencati nella pagina (tra i titoli, «Singing nonsense Spanish», «Safety lab» e «Noisy GPT live»); Block annuncia nuove registrazioni su X.
Come funziona: audio dentro, audio fuori
La tesi di Block è che trasformare la voce in testo butti via molta informazione: emozione, sarcasmo, risate, un sospiro di frustrazione, una voce che si incrina per la tristezza. Dessa, dice l’azienda, le sente e le produce in modo nativo. Essendo full-duplex, sa anche quando inserirsi e quando dare segnali di ascolto come «yeah!», «got it!» o «ooh».
Sull’addestramento Block dà questi dati:
- nessun testo e nessun modello preaddestrato: il modello ha imparato a sostenere una conversazione in tempo reale ascoltando;
- ha appreso il linguaggio da centinaia di volte meno parole rispetto a quelle richieste dai modelli linguistici testuali, secondo l’azienda;
- l’addestramento è avvenuto su un solo NVIDIA GB200 NVL72;
- l’inferenza, sempre secondo Block, è più veloce del tempo reale.
Block spiega anche perché la strada è in salita: il parlato non si ripete mai, perché la stessa frase detta due volte produce comunque dati diversi, e una singola parola parlata occupa migliaia di volte più byte della stessa parola scritta.
Cosa afferma Block e cosa la pagina non dice
Block sostiene che, per quanto ne sa, Dessa sia la prima IA con cui si può avere una conversazione dal vivo realistica addestrata solo su parlato umano: è un’affermazione dell’azienda, non verificata da terzi. Le ragioni dichiarate sono tre: curiosità, migliore comprensione tra esseri umani e IA, sicurezza. Su quest’ultima il ragionamento è che un’IA vocale quasi sorda alle emozioni potrebbe non accorgersi, per esempio, che chi parla sta soffrendo.
L’azienda presenta Dessa come una categoria nuova, con domande aperte per i ricercatori: quanto efficientemente questi modelli imparano lingua e fatti rispetto al testo, quanto imparano nuove lingue, che tipo di apprendimento in contesto sanno fare.
La pagina non indica prezzi, data di uscita, lingue supportate, latenza misurata né se saranno disponibili pesi scaricabili. Non dice nemmeno se e quando Dessa arriverà in Italia o in italiano.
Chi c’è dietro e l’accesso per i ricercatori di sicurezza
Dietro Dessa c’è un laboratorio di ricerca molto piccolo dentro Block, fondato da ex membri della startup di deep learning di Toronto Dessa. Risponde direttamente a Jack Dorsey, cofondatore e presidente di Block; il responsabile del progetto è Ragavan Thurairatnam.
Block offre inoltre accesso anticipato a un piccolo gruppo di ricercatori di sicurezza dell’IA, con l’obiettivo di scoprire rischi che il team non ha previsto. Chi è interessato può contattare il laboratorio dalla pagina.
Come provarlo: demo e lista d’attesa
Per ora si può ascoltare il materiale pubblicato sulla pagina di Block, e iscriversi alla lista d’attesa con il pulsante «Join the waitlist». Non sono indicati requisiti oltre al Mac citato per l’esecuzione in locale.
Altri modelli vocali, per contesto
Sullo stesso terreno, quello della voce in tempo reale, ci sono prodotti già pubblicati. La pagina di Block non riporta benchmark di Dessa, quindi non esistono numeri da affiancare.
- Secondo xAI, Grok Voice 3.0, annunciato il 14 ottobre, è disponibile via API a 0,08 dollari al minuto e totalizza il 97% al Full Duplex Bench nei test di Artificial Analysis. Ne abbiamo scritto in questo articolo.
- ElevenLabs propone Eleven Realtime v1 Mini e v1 Max, in ElevenAgents e con una Realtime API compatibile con quella di OpenAI; per il Mini dichiara il 95,8% al Full-Duplex-Bench. Il nostro pezzo è qui.
- Nella presentazione di Mistral, Voxtral 3 è una famiglia di modelli con un SDK per agenti vocali, costruita a stadi separati (trascrizione, modello linguistico, sintesi) e utilizzabile anche su infrastruttura propria; l’API con Mistral Small 4 costa 0,04 dollari al minuto. Maggiori dettagli nel nostro articolo.
