Nemotron 3.5 Bolt E4B: NVIDIA lo pubblica, punta a stare in circa 4 GB di memoria
Circa 4 GB: è la memoria in cui NVIDIA dichiara di far stare Nemotron 3.5 Bolt E4B 4GB, piccolo modello linguistico aperto pubblicato il 23 ottobre. Secondo la pagina ufficiale di NVIDIA è pensato per agenti conversazionali: assistenti vocali, personaggi di gioco, interfacce per robot e IoT.
Per chi ha una GPU GeForce RTX, una scheda Jetson, un RTX Spark o un DGX Spark, i pesi sono già scaricabili da Hugging Face, Ollama e LM Studio. Il modello si basa su Gemma 4 E4B con il post-training Nemotron.
Cosa promette NVIDIA: qualità per gigabyte
NVIDIA indica due numeri. Il primo è circa il 40% di qualità media in più rispetto al modello precedente, Nano 4B, sui benchmark per agenti conversazionali scelti dall’azienda. Rispetto agli altri modelli confrontati il vantaggio dichiarato è di circa il 10%.
Il secondo riguarda i token in uscita: fino a circa l’80% in meno rispetto ai pari, nei confronti con il ragionamento attivo. Secondo l’azienda, generare meno testo riduce il lavoro di decodifica e i costi e può accorciare i tempi di risposta.
La motivazione, secondo NVIDIA: memoria, latenza, compatibilità hardware, costi e privacy impediscono spesso di portare in produzione i modelli grandi, e per questo si ricorre a modelli locali più piccoli. Gli usi indicati sono:
- assistenti vocali e di dispositivo: PC, mobile, app, casa, controllo del sistema operativo, assistenza clienti, abitacolo dei veicoli;
- personaggi interattivi e NPC nei giochi;
- interfacce per robotica, IoT e macchinari.
Scheda tecnica: contesto, lingue, ragionamento
- Contesto da 64K token, per cronologia, istruzioni, definizioni degli strumenti, informazioni recuperate e stato dell’applicazione.
- 35 lingue, partendo da un modello base pre-addestrato su oltre 140 lingue.
- Uso di strumenti multi-turn: chiama le API dell’applicazione lungo la conversazione, con indicazioni per le chiamate asincrone.
- Modalità conversazionale attivabile, per risposte concise adatte al parlato.
- Ragionamento configurabile: attivo per le richieste complesse, disattivato per risposte più rapide, con opzioni per limitare il tempo di «pensiero» e rispettare i target di latenza.
- Quantizzazione Q4_K_M ottenuta con llama.cpp, con calibrazione imatrix.
Il post-training usa apprendimento per rinforzo con ricompense verificabili (RLVR) e da feedback umano (RLHF), con NeMo-RL e NeMo-Gym. Le ricette di training sono pubbliche.
Velocità e VRAM misurate da NVIDIA su RTX e Jetson
I test sono in Q4_K_M, batch size 1, su llama.cpp (CUDA) con AIPerf. La colonna «Cache/ISL/OSL» indica contesto in cache, token in ingresso e token in uscita. NVIDIA precisa che i risultati cambiano con hardware, software di inferenza e configurazione. Gli scenari tipici del modello sono da 2,5K a 16K token in ingresso e meno di 500 in uscita.
| Scheda | Cache/ISL/OSL | VRAM (GB) | TTFT (ms) | Token/s |
|---|---|---|---|---|
| RTX 5070 (12 GB) | 0 / 3K / 50 | 3,5 | 548 | 133,4 |
| RTX 5070 (12 GB) | 32k / 2K / 256 | 4,3 | 1.238 | 106,2 |
| RTX Spark (32 GB) | 0 / 3K / 50 | 3,1 | 930 | 67,0 |
| RTX Spark (32 GB) | 32k / 2K / 256 | 4,2 | 1.988 | 52,0 |
| Jetson Orin Nano (8 GB) | 0 / 3K / 50 | 4,2 | 5.785 | 15,5 |
| Jetson Orin Nano (8 GB) | 32k / 2K / 256 | 4,9 | 6.259 | 13,0 |
| Jetson AGX Orin (32 GB) | 0 / 3K / 50 | 4,2 | 3.687 | 24,0 |
| Jetson AGX Orin (32 GB) | 32k / 2K / 256 | 5,0 | 4.091 | 20,3 |
Il consumo di VRAM va da 3,1 a 5,0 GB nelle otto configurazioni. Sulla Jetson Orin Nano da 8 GB, la più piccola testata, si arriva a 4,9 GB con il contesto in cache da 32k.
Benchmark: dove Bolt E4B è avanti e dove no
Il confronto è con Nano 4B, Qwen 3.5 4B e Gemma 4 E4B. Tutti i risultati sono in BF16, con la stessa modalità di ragionamento per ogni modello, ma la modalità cambia da benchmark a benchmark. Qui sotto una selezione di risultati favorevoli e non.
| Benchmark | Bolt E4B | Nano 4B | Qwen 3.5 4B | Gemma 4 E4B |
|---|---|---|---|---|
| IHEval (gerarchia delle istruzioni) | 84,8 | 51,3 | 60,6 | 67,0 |
| LongMemEval | 72,1 | 25,2 | 66,8 | 70,9 |
| When2Call-MT | 63,4 | 27,7 | 37,8 | 62,9 |
| Tau2-Bench | 55,1 | 29,2 | 75,1 | 38,5 |
| RULER (64K) | 87,0 | 91,5 | 95,1 | 86,5 |
| LongBench v2 (48K) | 50,5 | 31,4 | 59,9 | 49,3 |
| BFCL-v3 | 68,5 | 61,1 | 70,9 | 66,4 |
| EQ-Bench v3 | 39,4 | 19,3 | 32,9 | 41,1 |
Bolt E4B stacca gli altri sulla gerarchia delle istruzioni. Resta dietro a Qwen 3.5 4B su Tau2-Bench, RULER 64K, LongBench v2 e BFCL-v3. Nano 4B lo supera su RULER 64K; su EQ-Bench v3 è davanti Gemma 4 E4B.
NVIDIA avverte che i benchmark attuali colgono solo in parte ciò che serve a questi agenti e che i guadagni devono tradursi in un comportamento migliore nell’applicazione reale. Brevity Bench e When2Call-MT, usati nel confronto, saranno rilasciati più avanti.
Il drafter DFlash e dove scaricare i checkpoint
La release include un drafter DFlash per la decodifica speculativa. Propone tutti i token in un solo passaggio e il modello li verifica in parallelo, senza cambiare la distribuzione di output. NVIDIA dichiara fino al 21% di throughput in più rispetto al drafter MTP originale di Gemma-4-E4B.
Il modello è disponibile su Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab e NVIDIA In-Game Inferencing SDK. I checkpoint pubblicati sono quattro:
- il modello post-addestrato in GGUF;
- il drafter DFlash per il GGUF;
- il modello in BF16 per Hugging Face;
- il drafter DFlash-NVFP4 per il checkpoint Hugging Face.
Con i checkpoint ci sono model card, esempi di deployment e guide di prompting. La pagina non indica licenza né prezzi.
