Clef-omni di Cloudflare decide su audio, video, immagini e testo
Cloudflare ha presentato Clef-omni, un nuovo modello della famiglia Clef che prende in ingresso audio, video, immagini e testo e restituisce decisioni strutturate in una sola chiamata API. Secondo il post sul blog di Cloudflare, il prezzo è di 0,15 dollari per milione di token in input. Nello stesso annuncio l’azienda abbassa il prezzo di Clef-flash e rende più veloce Clef. Su Clef e Clef-flash avevamo scritto in questo articolo.
Cosa fa Clef-omni e quali formati accetta
Clef, nella prima versione, gestiva testo, immagini e sequenze di fotogrammi video. Clef-omni aggiunge l’audio (wav o mp3) e il video (mp4 o webm), sempre insieme a testo e immagini. Cloudflare sostiene che così non servono più pipeline a cascata, come la trascrizione del parlato o la separazione di audio e immagini da un video: basta un solo modello per decidere su qualsiasi modalità.
Il modello non genera testo, perché i modelli Clef non sono LLM: salta quindi la fase di trascrizione o descrizione dei file in ingresso. L’esempio di codice del post usa domande su una foto, una registrazione e un video di un’unità di ventilazione: l’etichetta con modello e numero di serie è visibile nella foto? L’unità suona regolare, senza rumori o stridii? La ventola gira nel video?
Come è costruito
Cloudflare dichiara di essere partita da Qwen3-Omni-30B-A3B-Instruct, un modello mixture-of-experts già in grado di trattare testo, immagini, audio e video. Dell’originale conserva la parte di comprensione e scarta i componenti che producono voce. In produzione Clef-omni esegue un solo passaggio di prefill sull’intero contenuto e valuta insieme tutte le modalità e le opzioni valide.
- Il backbone Qwen3 resta congelato; l’addestramento riguarda adattatori LoRA.
- Il post-addestramento combina cross-entropy con label smoothing e calibrazione con punteggio di Brier.
- Un meccanismo di attenzione a due stadi raccoglie le prove per ogni opzione, ovunque siano nell’input, e poi calcola i punteggi di confidenza.
- Una grammatica lessicale integrata mantiene il significato delle opzioni e vincola il punteggio allo schema.
I pesi di Clef-omni sono pubblicati su Hugging Face. Clef è compatibile con l’API Jev e disponibile tramite AI Gateway: per provarlo basta cambiare l’ID del modello.
Latenze e benchmark dichiarati
Secondo Cloudflare, le decisioni solo testo tornano in circa 130 ms alla mediana, quelle con immagini in circa 150 ms, i clip audio in qualche centinaio di millisecondi. Un video di 21 secondi con sonoro viene valutato in circa 1,5 secondi, sempre in una chiamata.
Nei benchmark pubblicati dall’azienda Clef-omni non domina la famiglia. Supera Clef e Clef-flash su BANKING77 (94,8 contro 94,20 e 90,93) e su CLINC150+OOS (97,7 contro 97,43 e 66,77). Resta sotto Clef su Home appliances (69,3 contro 82,95) e su When2Call (63,3 contro 72,37). Nelle valutazioni sui flussi di lavoro TypeSafe, per esempio sull’elaborazione di fatture, Clef-omni ottiene 60,2 sulle azioni esatte e 82,0 sull’azione primaria; Clef arriva a 64,7 e 86,2.
Prezzi: Clef-flash scende, Clef resta
Cloudflare riporta questi prezzi per milione di token in input, in dollari. Prezzi europei o italiani non sono indicati nel post, che rimanda alla documentazione per le cifre aggiornate e per la conversione di immagini e audio in token.
| Modello | Prezzo per milione di token in input |
|---|---|
| Clef-flash | 0,038 dollari (prima 0,09) |
| Clef | 0,24 dollari (invariato) |
| Clef-omni | 0,15 dollari |
Con questo taglio Clef-flash costa meno di Jev, scrive Cloudflare. Il compromesso è la finestra di contesto della versione ospitata, che passa da 64k a 24k token. Secondo i dati d’uso dell’azienda, solo lo 0,24% delle richieste supera i 24k token in ingresso. I pesi su Hugging Face non cambiano e sono stati addestrati per 256k di contesto, utili a chi esegue il modello in proprio. Chi ha input più lunghi è invitato a passare a Clef, che resta a 64k.
Clef più veloce su Workers AI
Le ottimizzazioni sulla versione ospitata di Clef riguardano l’infrastruttura di servizio, non i pesi, quindi non c’è un nuovo rilascio del modello. Una delle scelte è il passaggio a SGLang, con una pull request (n. 42721) che Cloudflare ha inviato al progetto e che sarà inclusa in SGLang 0.5.22. I comandi di avvio aggiornati sono sul repository Hugging Face e nei cookbook di SGLang.
| Dimensione input | Prima (mediana / p95, ms) | Ora (mediana / p95, ms) | Accelerazione sulla mediana |
|---|---|---|---|
| ~800 token | 262 / 438 | 152 / 351 | 1,7× |
| ~3.400 token | 616 / 777 | 305 / 531 | 2,0× |
| ~16.000 token | 2.721 / 3.250 | 1.635 / 1.805 | 1,7× |
Come lo usa Cloudflare
Cloudflare racconta alcuni impieghi interni di Clef. Il repository pubblico della documentazione su GitHub lo usa per individuare e chiudere le segnalazioni di spam. Il CMS EmDash modera le librerie di plugin contro il phishing, il team di prevenzione della perdita di dati cerca informazioni personali come i documenti d’identità, quello di threat intelligence aiuta a rilevare domini malevoli.
Altri modelli di decisione con ingressi multimodali
Liquid AI ha rilasciato il 7 ottobre d1-3B, che accetta testo e immagini, e d1-omni-600M, sperimentale, che accetta testo con immagini oppure testo con audio, entrambi con pesi aperti, come racconta il blog di Hugging Face. Microsoft ha presentato il 9 ottobre Microsoft-Decision-1, disponibile in Foundry e su OpenRouter, secondo Microsoft (qui il nostro articolo). Il repository di CLM-8B indica invece il supporto multimodale come voce di roadmap. Le fonti non misurano questi modelli insieme a Clef-omni, quindi non permettono un confronto diretto.
