Ollama e Mistral su Linux: come usare i modelli in locale

Questa guida è per chi ha già Ollama su Linux e vuole far girare i modelli open di Mistral AI sul proprio computer. Prima si confrontano tre modelli Mistral della libreria di Ollama e le loro differenze. Poi si vede come scaricarli e come usarli dalla chat del terminale e dall’API locale. Infine si vede come toglierli quando non servono più. Alla fine avrete almeno un modello Mistral che risponde in locale. I comandi sono quelli della documentazione ufficiale, elencata in fondo.

Cosa serve

• Un computer Linux con Ollama installato. Se non l’avete ancora, seguite la nostra guida per installare Ollama su Linux e usare un modello in locale. Conviene far girare Ollama come servizio di sistema, come consiglia la documentazione di Ollama per Linux.
• Una connessione a internet per scaricare i modelli.
• Spazio su disco almeno pari alla dimensione del modello scelto: 4,4 GB per Mistral 7B, 7,1 GB per Mistral NeMo, 15 GB per Mistral Small 3.2.
• Un terminale e, per la prova via API, il programma curl.

Le pagine della libreria di Ollama non dicono quanta RAM serve per ciascun modello. I numeri che riportano sono le dimensioni dei file da scaricare.

Avviare il servizio Ollama e controllare che sia attivo

I comandi che seguono richiedono che Ollama sia in esecuzione. Se lo avete installato come servizio di sistema, per prima cosa avviatelo:

sudo systemctl start ollama

Poi controllatene lo stato:

sudo systemctl status ollama

Nell’output cercate la riga dello stato, che deve indicare active (running). Se vedete un altro stato, leggete i log con il comando dell’ultimo capitolo prima di andare avanti.

Quali modelli Mistral ci sono su Ollama e quale scegliere

Qui prendiamo in esame tre modelli Mistral della libreria di Ollama. I dati della tabella vengono dalle rispettive pagine ufficiali, consultate il 29 settembre 2026.

Mistral 7B è il più leggero dei tre. Secondo la pagina di mistral nella libreria Ollama è distribuito con licenza Apache ed è aggiornato alla versione 0.3, che supporta il function calling (il modello può chiedere di usare strumenti esterni). Esiste in una variante instruct, che segue le istruzioni, e in una variante di solo completamento del testo.

Mistral NeMo ha 12 miliardi di parametri ed è stato sviluppato da Mistral AI insieme a NVIDIA. La descrizione nella pagina di mistral-nemo parla di una finestra di contesto fino a 128K token, utile per i testi lunghi. Nota: la tabella dei tag della stessa pagina riporta un valore diverso, 1000K. Noi abbiamo scelto quello della descrizione. La pagina aggiunge che NeMo può sostituire Mistral 7B in qualsiasi sistema che già lo usa.

Mistral Small 3.2 è il più grande dei tre, con 24 miliardi di parametri, ed è l’unico che accetta anche immagini. La pagina di mistral-small3.2 lo presenta come un aggiornamento minore di Small 3.1: segue meglio le istruzioni precise, si ripete meno e ha un function calling più robusto. La scheda ufficiale su Hugging Face indica la licenza apache-2.0.

Sulla stessa scheda c’è un dato che può spaventare: circa 55 GB di memoria GPU. Vale però per il modello completo in bf16 o fp16, servito con vLLM o Transformers. Non riguarda il file da 15 GB che scarica Ollama, quindi non va preso come requisito di Ollama.

Se non sapete cosa scegliere, partite dal più piccolo, mistral. Passate agli altri se vi serve un contesto più ampio o, con Small 3.2, la lettura delle immagini.

Fra i modelli Mistral per Ollama c’è anche una famiglia più recente, Ministral 3: tre taglie (3b da 3,0 GB, 8b da 6,0 GB, 14b da 9,1 GB) che leggono testo e immagini. Questa guida si concentra sui tre modelli descritti sopra.

Scaricare e avviare Mistral 7B

Con ollama run seguito dal nome del modello si fa tutto con un solo comando. Se il modello non è ancora presente, Ollama lo scarica e poi apre la chat interattiva.

ollama run mistral

Quando compare il prompt della chat, >>>, il modello è pronto a rispondere.

Se volete solo scaricare il modello senza avviarlo, per esempio per usarlo più tardi via API, si usa ollama pull seguito dal nome del modello, in questo caso mistral. Nella guida ai comandi di Ollama l’esempio usa un altro modello, ma la sintassi è la stessa.

Provare Mistral NeMo 12B o Mistral Small 3.2 24B

Per i due modelli più grandi il procedimento è identico: cambia solo il nome. Il download però pesa di più, 7,1 GB per NeMo e 15 GB per Small 3.2, quindi prima di partire controllate di avere abbastanza spazio libero.

Per Mistral NeMo:

ollama run mistral-nemo

Per Mistral Small 3.2:

ollama run mistral-small3.2

Mistral Small 3.2 legge anche le immagini. Nella guida ai comandi di Ollama, per i modelli multimodali domanda e immagine si passano direttamente come argomento di ollama run. Dopo ollama run mistral-small3.2 si scrive, tra virgolette, la domanda (per esempio «cosa c’è in questa immagine?») seguita dal percorso completo del file immagine. L’esempio della documentazione usa un altro modello, ma lo schema è questo.

Usare la chat da terminale e uscire

Al prompt >>> scrivete la domanda e premete Invio. Quando il modello ha risposto, potete continuare con la domanda successiva.

Il tasto Invio manda subito il messaggio. Per un testo su più righe, come un brano da riassumere o un pezzo di codice, lo si racchiude tra triple virgolette:

1. si apre con """ seguito dalla prima riga;
2. si va a capo tutte le volte che serve;
3. si chiude con altre """ e si preme Invio.

È il sistema mostrato nella sezione sull’input su più righe della guida ai comandi di Ollama.

Per chiudere la sessione e tornare alla shell premete Ctrl+D, oppure scrivete /bye al prompt. Uscire dalla chat non ferma il servizio Ollama.

Interrogare il modello via API su localhost:11434

Ollama risponde anche via HTTP sulla porta 11434 del computer locale, ed è così che si collega il modello a script e altre applicazioni. Per provare basta mandare un messaggio all’endpoint /api/chat con curl. Questa è la richiesta per Mistral 7B, presa dalla pagina del modello:

curl http://localhost:11434/api/chat \
  -d '{
    "model": "mistral",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Questa è la stessa richiesta per Mistral Small 3.2:

curl http://localhost:11434/api/chat \
  -d '{
    "model": "mistral-small3.2",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Il campo model indica quale modello usare. Il campo messages contiene la conversazione, che qui è un solo messaggio dell’utente: «Hello!». Se curl non riceve risposta, di solito vuol dire che Ollama non è in esecuzione: ricontrollate lo stato del servizio e leggete i log.

Vedere i modelli scaricati e quelli in memoria

Dopo qualche prova è utile sapere cosa c’è sul disco e cosa sta occupando memoria. Questo comando elenca i modelli scaricati:

ollama ls

Questo invece elenca i modelli in esecuzione:

ollama ps

Per fermare un modello in esecuzione si usa ollama stop seguito dal nome del modello, per esempio mistral. Anche qui la guida ai comandi mostra l’esempio con un altro modello, ma la sintassi è la stessa.

Togliere un modello e leggere i log

I modelli occupano parecchi gigabyte, soprattutto Mistral Small 3.2. Per cancellarne uno si usa ollama rm seguito dal nome esatto che compare nell’elenco di ollama ls, per esempio mistral o mistral-small3.2. La guida ai comandi mostra ollama rm con un altro modello, ma la sintassi è la stessa.

Attenzione: ollama rm cancella il modello dal disco e, per riusarlo, bisogna scaricarlo di nuovo. Prima di darlo, eseguite ollama ls e copiate il nome esatto del modello da togliere, così non cancellate quello sbagliato.

Dopo la cancellazione, controllate che il modello non compaia più nell’elenco:

ollama ls

Se qualcosa non funziona, per esempio il servizio non parte o un modello non si carica, leggete i log del servizio Ollama:

journalctl -e -u ollama

L’opzione -e porta subito alla fine del log, dove ci sono i messaggi più recenti.

Per togliere Ollama del tutto, la procedura di disinstallazione è nella documentazione di Ollama per Linux e nella nostra guida all’installazione. Quella procedura cancella anche tutti i modelli scaricati.

Documentazione di riferimento

Pagine ufficiali consultate il 29 settembre 2026:

• Libreria Ollama — mistral
• Libreria Ollama — mistral-nemo
• Libreria Ollama — mistral-small3.2
• Hugging Face — mistralai/Mistral-Small-3.2-24B-Instruct-2506
• Documentazione di Ollama — CLI Reference
• Documentazione di Ollama — Linux

Leggi anche

• Ollama e DeepSeek-R1 in locale: quale versione scegliere e come usarla
• Qwen in locale con Ollama: quale taglia scaricare e come usarla
• Ollama e Open WebUI su Ubuntu: la chat locale nel browser con Docker