Granite Switch di IBM: modelli 8B e 30B su Hugging Face, Apache 2.0
Il 14 ottobre 2026 IBM ha pubblicato su Hugging Face due modelli di generazione di testo: granite-switch-4.1-8b e granite-switch-4.1-30b. Escono con licenza Apache 2.0, in formato safetensors e compatibili con transformers. Lo indica la pagina di ibm-granite su Hugging Face.
Cosa c’è dentro Granite Switch 4.1
Secondo la scheda dell’8B, Granite Switch è un modello modulare: unisce un modello base, alcuni adattatori e un encoder, così che un solo endpoint possa passare tra risposte in linguaggio naturale, decisioni generali o specializzate e trascrizione vocale. Gli adattatori si attivano su richiesta tramite token di controllo nel chat template.
Il blog di IBM su Hugging Face, pubblicato il 15 ottobre, aggiunge che tutte queste componenti occupano più o meno la stessa VRAM del solo modello base. Gli adattatori sono Activated LoRA: la KV cache generata dal modello base può essere riusata per le decisioni successive. Per la 30B la scheda dichiara la stessa configurazione dell’8B, con un modello base da 30B.
- Modello base dell’8B: granite-4.1-8b, 8 miliardi di parametri, contesto di 131.072 token (la scheda parla di 128K).
- Decision (aLoRA): dato uno stato e una domanda con opzioni identificate da etichette di un singolo token, permette di ricavare una distribuzione di probabilità sulle etichette. Con vLLM si possono richiedere fino a 128 identificativi di token per chiamata; oltre questo limite occorre suddividerli in gruppi, mantenere identico il prompt e applicare un’unica softmax ai risultati riuniti.
- Guardian Core (aLoRA, da granitelib-guardian-r1.0): rileva rischi come danno, jailbreak, volgarità, violenza, contenuti sessuali, bias sociale e comportamento non etico.
- Granite Speech 5.0 TurboCTC: encoder di riconoscimento vocale da 470 milioni di parametri, in inglese, che IBM indica come il modello più veloce della OpenASR Leaderboard.
Licenza, formato e lingue
La licenza è Apache 2.0, indicata dal tag license:apache-2.0 e confermata dalla scheda. Per l’8B i backend supportati sono Hugging Face Transformers e vLLM.
La scheda elenca l’italiano tra le dodici lingue del modello base, con inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, coreano, olandese e cinese. La trascrizione vocale integrata, invece, è solo in inglese e produce testo in minuscolo e senza punteggiatura.
Come provarlo in locale
La scheda indica di clonare il repository GitHub granite-switch e installarlo con le dipendenze adatte, per esempio pip install -e ".[hf]" per Transformers o pip install -e ".[vllm]" per vLLM. Con vLLM si avvia un server compatibile con le API OpenAI:
python -m vllm.entrypoints.openai.api_server --model ibm-granite/granite-switch-4.1-8b --port 8000- Ogni adattatore si attiva con un campo nella richiesta:
chat_template_kwargsconadapter_nameimpostato sudecisionoguardian-core. - Tra i requisiti, la scheda richiede PyTorch 2.11.0 o superiore.
- IBM indica Mellea come modo preferito per usare gli adattatori nelle applicazioni; per Decision non esiste ancora un intrinseco Mellea.
IBM pubblica anche varianti preview con l’intero pacchetto Granite Libraries, senza audio: 8b-preview, 30b-preview e 3b-preview. Si può inoltre comporre un proprio checkpoint scegliendo gli adattatori dal catalogo, e IBM annuncia un Adapter SDK per addestrarne di nuovi in Mellea.
Decision Index e limiti dichiarati
Per l’adattatore Decision, IBM riporta i risultati sul sottoinsieme rapido pubblico del Decision Index (1.068 righe), nello scoring edition-v0.3. I punteggi sono su scala 0-100 e si riferiscono al servizio tramite endpoint vLLM ospitato; con l’adattatore servito in locale i valori concordano entro circa 0,6 punti.
| Complessivo | Knowledge | Language | Retrieval | Tools | Arts |
|---|---|---|---|---|---|
| 42,9 | 29,1 | 48,9 | 49,8 | 59,8 | 18,0 |
La scheda precisa che il modello eredita il profilo di sicurezza del Granite 4.1 di base. L’adattatore Guardian offre un livello di sicurezza in più ma non sostituisce i test a livello di applicazione, e il checkpoint non include gli adattatori di factuality-detection, factuality-correction e policy-guardrails. Per l’adattatore Decision, nei domini per cui non è stato addestrato, le probabilità sulle opzioni vanno trattate come un’indicazione a supporto della decisione, non come una classificazione certificata.
Quanto alla voce, encoder e LLM non sono addestrati insieme: una trascrizione sbagliata può cambiare in silenzio ciò a cui rispondono il modello o un adattatore.
Altri modelli aperti già raccontati
Nelle ultime settimane abbiamo scritto di altri modelli con pesi aperti. Aleph Alpha indica per Kolibri 78 miliardi di parametri totali (3 miliardi attivi) e licenza Apache 2.0, come nel nostro pezzo su Kolibri. Il progetto Apertus dichiara per la versione 1.5 le taglie 8B e 70B, con licenza Apache 2.0 (Apertus 1.5). Liquid AI descrive LFM2.5-24B-A2B come modello da 24 miliardi di parametri, di cui 2 miliardi attivi, pensato per agenti in locale (LFM2.5-24B-A2B).
