AI in locale
Il 13 ottobre 2026 Hugging Face ha annunciato Llama Windows, un’app gratuita e open source che mette llama.cpp nell’area di notifica di Windows 11. Si sceglie un modello dall’Hub, lo si scarica con un clic e lo si esegue in locale: niente terminale, niente compilazione, niente diritti di amministratore. Come spiega il post di Hugging Face, è la versione per Windows di llama.app su macOS e debutta con supporto nativo a Windows on Arm e alla nuova NVIDIA RTX Spark.
Perché evitare il terminale su Windows
Secondo gli autori, finora partire con llama.cpp su Windows richiedeva più passaggi a riga di comando: scegliere il binario adatto al proprio hardware, trovare un modello, decidere fra le varie build quantizzate e avviare il server con i parametri giusti. Llama Windows riduce tutto a pochi clic.
Hugging Face lo descrive come strumento per chi sviluppa con l’IA locale e vuole le prestazioni di llama.cpp in un’esperienza nativa, ma anche come il modo più semplice per un utente Windows qualsiasi di far girare per la prima volta un modello aperto sul proprio PC.
Un’app nativa nell’area di notifica
Llama Windows è un’app WinUI 3 con Fluent Design. Un clic sull’icona del lama apre un pannello compatto; non esiste una finestra nella barra delle applicazioni. Con il tasto destro si apre o si chiude l’app, mentre Alt+Spazio, da qualsiasi punto, richiama un overlay per chattare.
Dal download alla chat: come funziona
- Il pannello Recommended Models elenca build quantizzate pronte di modelli aperti popolari dall’Hub, con numero di parametri, spazio su disco e supporto alla visione: si sceglie quello adatto al PC prima di scaricare. Il download parte con un clic e mostra l’avanzamento.
- Il pannello Available mostra i modelli già presenti sul computer. Da ogni riga si carica o si scarica il modello, poi si apre la web UI di llama.cpp per chattare.
- All’avvio l’app si collega a un server llama.cpp già in esecuzione oppure avvia quello che gestisce. Se llama.cpp non è installato, lo installa con l’installer ufficiale, senza diritti di amministratore.
Per iniziare bisogna scaricare l’app da llama.app su un PC con Windows 11 e avviarla; se l’icona non compare, va cercata nel menu di overflow. Poi si sceglie un modello in Recommended Models, lo si scarica, lo si carica e si apre la web UI.
Un server locale compatibile OpenAI per chi sviluppa
llama.cpp gira come server locale all’indirizzo http://localhost:9931, con API compatibile OpenAI. App, script e agenti propri possono quindi usare gli stessi modelli caricati dall’app. L’elenco dei modelli disponibili si legge con curl http://localhost:9931/models.
Per usarlo da Python basta puntare il client openai a http://localhost:9931/v1, con chiave not-needed e un ID preso da quell’elenco.
- I modelli finiscono nella cache standard di Hugging Face,
%USERPROFILE%\.cache\huggingface\hub, condivisa con llama.cpp e altri strumenti dell’ecosistema: un modello scaricato una volta vale ovunque. La cache si può spostare su un altro disco. - Nelle impostazioni si inserisce il token Hugging Face per usare repository gated o privati.
- I log giornalieri vengono conservati per 7 giorni in
%LOCALAPPDATA%\LlamaApp\logs.
Privacy e uso offline
Secondo Hugging Face, tutto ciò che si fa con Llama Windows resta sulla macchina: per usare i modelli non serve connessione a internet e nessun dato viene salvato altrove. La rete serve per scaricare i modelli dall’Hub.
Windows on Arm e NVIDIA RTX Spark
L’app parte con il supporto a NVIDIA RTX Spark e gira in modo nativo su Windows on Arm, mentre llama.cpp esegue i modelli sulla GPU di RTX Spark. Per gli autori, trattandosi di un runtime molto ottimizzato, si sfruttano calcolo e memoria della piattaforma senza regolazioni manuali. Hugging Face afferma di aver lavorato con NVIDIA per averla pronta dal giorno del lancio.
Codice aperto e contributi
Il codice è su GitHub, nel repository ggml-org/Llama-Windows: contiene l’app WinUI 3 e le librerie .NET per il server llama.cpp, il client dell’Hub di Hugging Face e il catalogo dei modelli. Gli autori invitano a provare l’app, segnalare problemi, inviare pull request e dire quali modelli e funzioni vorrebbero in futuro.
