AI in locale

Far girare un modello linguistico sul proprio computer invece che nel cloud: qui trovi le guide di opengeek in ordine, dal programma per avviare i modelli fino ai singoli modelli aperti. Ogni guida usa solo i comandi della documentazione ufficiale, con il link alla pagina da cui vengono.

Prima di cominciare: che hardware serve

• AI in locale: che computer serve tra GPU, VRAM, RAM e mini PC — GPU, VRAM, RAM e quantizzazione: quanta memoria serve a un modello, come verificare se gira su GPU e cosa offrono DGX Spark, Framework e Mac Studio.

Da dove partire: il programma che fa girare i modelli

• Ollama su Linux: come installarlo e usare un modello in locale — Dallo script ufficiale al primo modello: installare Ollama su Linux, avviare il servizio, usare gemma4 in chat e via API REST, poi disinstallare.
• LM Studio: come installarlo e usare un modello AI in locale — Requisiti, installazione, download di un modello con lms get, chat nel terminale e server locale compatibile OpenAI sulla porta 1234.
• LM Studio Bionic: come installarlo e usare un modello aperto in locale — Come installare LM Studio Bionic, scaricare un modello aperto e usarlo in locale per chat e documenti, con la CLI lms facoltativa via llmster.

Una chat nel browser, come ChatGPT ma in locale

• Ollama e Open WebUI su Ubuntu: la chat locale nel browser con Docker — Docker, Ollama e Open WebUI su Ubuntu per chattare con un modello locale dal browser, passo passo e con i comandi della documentazione ufficiale.

I modelli, uno per uno

• DeepSeek R1 in locale sul PC: come usarlo con Ollama, LM Studio o Bionic — Le taglie di DeepSeek-R1 che girano su un PC, come scaricarle con Ollama, LM Studio o Bionic, come usarle offline e come toglierle.
• Qwen in locale: quale taglia scaricare e usarla con Ollama e LM Studio — Le taglie di Qwen3.5 a confronto e i passaggi per scaricarlo e usarlo in locale con Ollama, LM Studio da terminale oppure con l’app LM Studio Bionic.
• Mistral AI in locale: Ministral 3 con Ollama e LM Studio — Ministral 3 di Mistral AI gira in locale: come scaricarlo e usarlo con Ollama, LM Studio e Bionic, con taglie, spazio richiesto e licenza.
• Gemma 4 in locale: come usarla sul PC con Ollama, LM Studio o Bionic — Le taglie di Gemma 4, i comandi Ollama per scaricarla e provarla, il download da LM Studio anche con lms e l’uso nelle sessioni di Bionic.
• gpt-oss in locale: come usarlo con Ollama, LM Studio e Bionic — gpt-oss-20b e 120b in locale: scegliere programma e taglia, scaricare il modello e usarlo con Ollama, LM Studio o LM Studio Bionic.
• Llama 3.2 in locale: come scaricarlo e usarlo con Ollama e LM Studio — Quale versione di Llama scegliere per un PC comune, cosa chiede la licenza e come avviare Llama 3.2 con Ollama, LM Studio e Bionic.

Altre guide

• AnythingLLM: come chattare con i documenti usando Ollama o LM Studio — Installare AnythingLLM Desktop su Windows e macOS, collegarlo a Ollama o LM Studio, sapere dove restano i dati e come disinstallarlo senza perderli.
• ComfyUI: come installare Comfy Desktop e creare la prima immagine — Installare Comfy Desktop su Windows o Mac, caricare il workflow text-to-image ufficiale, scaricare il modello e generare la prima immagine con ComfyUI.
• Graphify con Ollama: il grafo delle note Markdown in locale — Installare graphifyy, costruire con Ollama il grafo di una cartella di note Markdown, interrogarlo dal terminale e aggiornarlo dopo le modifiche.
• Laya: come installarlo in locale e smistare email e ticket — Installare Laya col pacchetto Python ufficiale, smistare email e ticket anche in italiano e capire i limiti dichiarati rispetto a Jev.
• LoRA in locale con Soup: fine-tuning di un modello fino al GGUF — Da pip install al file GGUF: come addestrare un adattatore LoRA/QLoRA sul proprio PC con Soup e usarlo in Ollama e LM Studio.