RTX Spark, NVIDIA lancia Nemotron 3.5 Bolt: agente locale in 24 GB
Il 15 ottobre NVIDIA ha rilasciato Nemotron 3.5 Super VL, un modello aperto da 120 miliardi di parametri, insieme a due modelli pensati per l’edge: Nemotron 3.5 Bolt 74B-A9B 24GB e Nemotron 3.5 Bolt E4B 4GB. Super VL e Bolt 74B-A9B sono disponibili subito, mentre Bolt E4B arriverà il 23 ottobre. Secondo il comunicato di NVIDIA, Bolt 74B-A9B sta in 24 GB di memoria grazie a una quantizzazione nativa a 2 bit.
Bolt 74B-A9B: l’agente locale in 24 GB
NVIDIA lo descrive come un modello per i compiti agentici di tutti i giorni, da eseguire in locale su NVIDIA RTX e DGX Spark, lasciando memoria libera per altre applicazioni. Rispetto a modelli con un ingombro simile, dice l’azienda, offre un buon equilibrio tra intelligenza e velocità: abbastanza capace per la maggior parte dei lavori, molto più rapido dei modelli più intelligenti.
NVIDIA propone di delegare ad agenti locali attività come la ricerca sul web, la scrittura e il debug del codice senza mandare i dati al cloud. Sempre secondo NVIDIA, è il primo modello aperto della sua classe su PinchBench e il secondo su BrowseComp.
- Pesi disponibili su Hugging Face.
- Supporto a llama.cpp, Ollama, LM Studio, Unsloth e vLLM.
- Quantizzazione nativa a 2 bit per stare in 24 GB di memoria.
- Pensato per portatili RTX Spark, PC GeForce RTX, DGX Spark, DGX Station e workstation RTX PRO.
Dove gira: RTX Spark, GeForce RTX e DGX
Bolt 74B-A9B è costruito per i portatili NVIDIA RTX Spark in arrivo il 16 ottobre (ne avevamo parlato il 13 ottobre in questo articolo).
Bolt E4B 4GB, in uscita il 23 ottobre, punta su agenti conversazionali e fisici su GeForce RTX, Jetson e RTX/DGX Spark. NVIDIA lo propone per assistenti vocali locali, personaggi interattivi e interfacce embedded.
Super VL: il fratello da 120B che legge documenti
Super VL è un modello visione-linguaggio: secondo NVIDIA legge OCR, tabelle, grafici, pagine web e PDF in un unico modello, senza instradare i compiti tra sistemi separati. L’azienda dichiara un’accuratezza comparabile con il suo modello di ragionamento più grande con circa un quinto dei parametri, e un throughput fino a 5 volte superiore rispetto ad altri modelli della sua classe, misurato nell’indice Artificial Analysis.
Il modello ha pesi aperti, dataset aperti e ricette di addestramento. Si può personalizzare con NeMo e pipeline Python, facendo post-training sui propri dati. Gira su DGX Spark, DGX Station, sistemi RTX PRO e RTX, su Jetson e nei data center.
I tre modelli in breve
| Modello | Taglia | Disponibilità |
|---|---|---|
| Nemotron 3.5 Super VL | 120 miliardi di parametri | Disponibile su Hugging Face, OpenRouter, ModelScope e come NVIDIA NIM |
| Nemotron 3.5 Bolt 74B-A9B 24GB | 24 GB di memoria, quantizzazione nativa a 2 bit | Disponibile su Hugging Face |
| Nemotron 3.5 Bolt E4B 4GB | 4 GB | Dal 23 ottobre |
Nella famiglia Nemotron, Super VL e Bolt si affiancano a Lightning, uscito ad agosto e dedicato ai carichi ad alto throughput, e a Ultra, per i compiti di ragionamento più difficili.
Accanto agli altri modelli locali
Chi cerca un modello aperto per agenti in locale ha altre opzioni, di cui abbiamo scritto il 13 ottobre: LFM2.5-24B-A2B di Liquid AI. Secondo la pagina di Liquid AI, ha 24 miliardi di parametri totali e 2 attivi, pesi aperti, e dichiara 184 token al secondo su Apple M5 Max e 114 su AMD Ryzen AI Max+ 395, con supporto a llama.cpp, MLX e vLLM.
Nella sua tabella Liquid AI include Nemotron-3.5-Lightning (30B-A3B), non Bolt. Su PinchBench riporta 84,20 per Lightning, 83,18 per LFM2.5-24B-A2B e 89,93 per Qwen3.6-35B-A3B, con test eseguiti dall’azienda con vLLM. Bolt non compare in quel confronto.
