Nemotron Dory 1.0 4B: il modello a loop con contesto 256K
Il 16 ottobre 2026 NVIDIA ha pubblicato su Hugging Face NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8, un modello di generazione di testo da 4 miliardi di parametri con architettura «looped», a ricorrenza latente. Come descrive la scheda ufficiale su Hugging Face, lo stesso checkpoint può lavorare con più o meno calcolo per token, cambiando il numero di volte in cui viene applicato un blocco condiviso di livelli, senza riaddestramento né cambio di modello. Il contesto arriva a 256K token.
Per chi prova modelli in locale: la scheda indica come eseguirlo con llama.cpp su Apple Silicon e con vLLM, ma il supporto non è ancora in una release. llama.cpp va compilato dai sorgenti indicati; vLLM va installato dalla pull request indicata, usando VLLM_USE_PRECOMPILED=1 per riutilizzare kernel precompilati compatibili ed evitare la compilazione CUDA locale.
Com’è fatto Dory 1.0 4B
Dory è un normalized-GPT che alterna livelli di attenzione a finestra scorrevole (SWA) e livelli di attenzione completa. Lo stack è diviso in tre gruppi: Input con 8 livelli, Output con 8 livelli e, in mezzo, un blocco Ricorrente da 20 livelli. Il blocco ricorrente è applicato più volte, con l’input reiniettato a ogni giro.
Il pre-addestramento è stato fatto con Megatron-LM su 6T token: i primi ~4,5T nel formato a 4 bit NVFP4, il resto in BF16. Poi c’è stata un’estensione del contesto a 256K token su 300B token. Dopo il pre-addestramento NVIDIA ha applicato un fine-tuning supervisionato e un apprendimento per rinforzo multi-ambiente con GRPO, su matematica, codice, scienza, istruzioni, uso di strumenti, conversazioni multi-turno e output strutturati.
Il looping: più calcolo senza cambiare modello
Secondo NVIDIA, con più loop il modello risolve gli stessi compiti generando meno token, perché il calcolo aggiuntivo va nel «pensare» nello spazio latente invece che in risposte più lunghe.
Di norma ogni loop ha una propria KV cache, quindi la memoria cresce con i loop: è la modalità per_loop, usata negli esempi della scheda. Con il last-loop KV caching resta una sola cache per livello ricorrente e, dice NVIDIA, non c’è sovraccosto rispetto a un modello senza loop. L’accuratezza resta vicina alla modalità per_loop, con lunghezze di output quasi invariate.
Sul numero di loop la scheda consiglia:
- 2 loop come punto di partenza, perché la maggior parte del guadagno arriva dal secondo;
- 1 loop per ridurre al minimo il calcolo per token;
- 4 loop quando conta di più l’accuratezza, soprattutto per compiti agentici come Terminal-Bench e SWE-bench.
Poiché più loop possono ridurre i token generati, NVIDIA invita a misurare latenza e costo complessivi sul proprio carico di lavoro.
Benchmark: cosa dicono e a che condizioni
La scheda confronta Dory con 1, 2 e 4 loop con Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B e Qwen3.6-35B-A3B. I valori sono misurati da NVIDIA con un harness unico (NeMo Gym / Nemo Evaluator SDK), tranne il 73,4 di Qwen3.6-35B su SWE-bench Verified, che è un punteggio riportato. Terminal-Bench 2.1 usa l’harness Terminus-2 per tutti i modelli.
| Test | Dory 1 loop | Dory 2 loop | Dory 4 loop | Qwen3.5-4B | Qwen3.5-9B | Gemma 4 26B A4B | Qwen3.6-35B-A3B |
|---|---|---|---|---|---|---|---|
| SWE-bench Verified | 50,3 | 59,5 | 61,8 | 54,7 | 61,0 | 57,40 | 73,4 |
| Terminal-Bench 2.1 | 12,5 | 18,1 | 22,2 | 15 | 24 | 35 | 43 |
| GPQA Diamond (senza strumenti) | 69,19 | 72,41 | 72,16 | 77,71 | 80,93 | 80,43 | 85,35 |
| IFBench | 74,29 | 77,94 | 79 | 53,83 | 59 | 77,89 | 57,44 |
| AA-LCR (contesto lungo) | 63 | 71 | 73 | 64,7 | 68,4 | 64,6 | 68,5 |
Il quadro è misto: su GPQA Diamond i modelli di confronto stanno sopra Dory, che con 4 loop scende anche leggermente rispetto ai 2 loop. Su IFBench e AA-LCR, invece, Dory con 2 e 4 loop supera tutti i modelli della tabella.
I punteggi AA sono stime interne che possono scostarsi da quelli ufficiali di Artificial Analysis. AA-LCR usa le risposte corrette della v1.1 ma il vecchio giudice Qwen3-235B-A22B. I risultati valgono per la versione BF16, non per MXFP8 né per il GGUF Q5_K_M.
Come provarlo in locale
Il modello è disponibile in BF16, MXFP8, NVFP4 e Q5_K_M. La scheda indica due strade.
- vLLM: il supporto è in revisione nella pull request n. 60149 e va installato da lì finché non entra in una release. L’esempio parte con 2 loop,
--max-model-len 262144, prefix caching, parser di ragionamentonemotron_v3e parser di toolqwen3_coder. - llama.cpp: il supporto è nella pull request n. 30306 e non è in una release. La scheda propone la build da una revisione fissata di un fork, con Metal, su Apple Silicon nativo (non Intel né Rosetta). I loop, da 1 a 4, si impostano con
--override-kvsudory.num_loops. - GGUF per llama.cpp: serve il Q5_K_M da 3.673.288.864 byte, con checksum SHA-256 indicato nella scheda. È un export quantizzato; l’esempio usa un contesto di 4096 token e un server locale senza autenticazione.
Le impostazioni consigliate sono temperature 1.0 e top_p 0.95. Per il tool calling in llama.cpp basta --jinja, in vLLM servono i parser indicati. Per gli agenti di coding la scheda chiede di passare force_nonempty_content=True in chat_template_kwargs.
Licenza, lingua e requisiti
- Licenza OpenMDW-1.1; la scheda lo dichiara pronto per uso commerciale e non commerciale.
- Lingua supportata: solo inglese, oltre a 43 linguaggi di programmazione nei dati di addestramento.
- Hardware supportato: architetture NVIDIA Hopper e Blackwell; sistema operativo preferito Linux; runtime PyTorch.
Altri modelli aperti compatti a confronto
Secondo Liquid AI, LFM2.5-24B-A2B ha 24B parametri totali e 2B attivi, contesto da 131.072 token e pesi aperti. L’azienda dichiara 184 token al secondo su Apple M5 Max e supporto dal primo giorno a llama.cpp, MLX, vLLM, SGLang e ONNX.
Aleph Alpha, nel suo blog, indica per Kolibri, rilasciato il 3 ottobre, un Mixture-of-Experts inglese-tedesco con 78B parametri totali e 3B attivi, contesto fino a 1M token e licenza Apache 2.0.
I numeri di schede diverse non sono direttamente confrontabili. Per Qwen3.6-35B-A3B la scheda NVIDIA dà 85,35 su GPQA Diamond e 9,54 su τ³-bench Banking, mentre Liquid AI riporta 83,69 e 7,63, valutati con vLLM e parametri propri.
