Intelligenza artificiale
Il 12 ottobre la Frontier Red Team di Anthropic ha pubblicato una ricerca sull’autoreplicazione dei modelli AI. Secondo gli esperimenti, piccoli modelli potrebbero essere a mesi dal replicarsi su dispositivi IoT commerciali, come forni smart e box Android TV di marche minori, senza datacenter. Secondo Anthropic, un replicatore così sarebbe difficile da spegnere, perché non ha un punto centrale da disattivare, ma sarebbe lento: il tempo di raddoppio è nell’ordine dei giorni.
Cosa hanno misurato i ricercatori
Lo studio scompone la replicazione autonoma in quattro fasi: trovare i bersagli, ottenere l’esecuzione, avviare l’inferenza e continuare la propagazione dal nuovo host. Le prime due, cioè l’exploit, sono lasciate in gran parte da parte: secondo gli autori, lavori precedenti mostrano che i piccoli modelli ne sono già capaci. Lo studio si concentra sull’avvio dell’inferenza su hardware sconosciuto.
- Un modello da 9 miliardi di parametri ha fatto partire l’inferenza su 8 dei 9 tipi di hardware provati.
- I modelli da 30B o meno completano già molti passi singoli, ma sbagliano quando devono comporli dall’inizio alla fine.
- Qwen3.5-9B configura server di inferenza su hardware che va da Jetson Nano a Mac e RTX 4090; GLM-5.2 è più affidabile e ottiene più token al secondo.
Anthropic precisa che i chip citati servono a misurare la capacità dei modelli e non sono fonte di vulnerabilità.
La dimostrazione con 15 box Android TV
Per mostrare che l’hardware economico basta, i ricercatori hanno messo in rete 15 box Android TV di marca minore, circa 55 dollari l’uno. Ci hanno fatto girare Gemma4-26B-A4B in modo distribuito, a 0,39 token al secondo, con ogni box che regge una piccola parte degli strati del modello.
Il calcolo di Anthropic parte da 4 GB di RAM per box e quantizzazione a 4 bit: bastano 4 o più macchine per un modello da 9B e 10 o più per uno da 26B. I box di questa fascia hanno in genere tra 1 e 4 GB e usano varianti di Android Open Source Project a cui i produttori non aggiungono funzioni di sicurezza.
Il test di propagazione e i suoi limiti
Per verificare la catena completa, il gruppo ha costruito una rete di 8 nodi su Google Cloud con l’emulatore Android 15 redroid e una porta ADB senza autenticazione. Il compito dei modelli era installare e avviare Llama3.1-8B su ogni nodo e passare al successivo. Tra i modelli open-weight provati solo GLM-5.2 ha completato la replicazione: 8 nodi su 8 in quattro prove su cinque, 7 su 8 nella quinta. Il test presuppone che le capacità di GLM-5.2 possano stare in un modello da 8B.
Gli autori avvertono che la parte di attacco informatico è banale, quindi il risultato è un limite superiore del successo reale. Ricordano però che il botnet Mirai si diffondeva con semplici elenchi di credenziali predefinite: la sicurezza reale dell’IoT potrebbe non essere molto più difficile. Un replicatore, aggiungono, non richiede privilegi di root: i motori di inferenza girano in userspace e molti dispositivi poco protetti si possono reinfettare al riavvio.
Perché la soglia potrebbe arrivare entro fine anno
Anthropic ragiona con due paletti: una soglia minima di capacità e un tetto di dimensione. GLM-5.2 supera la soglia; Qwen3.5-9B e Gemma4-26B-A4B stanno sotto il tetto per smart TV da 4 GB. Oggi le due condizioni non coincidono.
Per i modelli open-weight fino a 30B la tendenza storica è di +13,7 punti all’anno sull’Epoch Capabilities Index, con R² di 0,95. Prendendo GLM-5.2 come soglia, un modello piccolo la raggiungerebbe entro la fine del 2026. L’indice è solo un indicatore indiretto della capacità di replicarsi, quindi la stima è approssimativa. Replicatori piccoli basati sui pesi del modello potrebbero diventare possibili poco dopo.
Quanto sarebbe lento e quanto grande uno sciame
Gemma4-26B-A4B non ottimizzato fa circa 0,3 token al secondo su una finestra da 32k. Le stime dello studio per completare l’avvio dell’inferenza:
| Modello | Tempo per finestra | Setup completo |
|---|---|---|
| Gemma4-26B-A4B (non ottimizzato) | 27,3-31,8 ore | 71-150 ore |
| Qwen3.5-9B | 10,9 ore | 28-51 ore |
Per la scala, gli autori prendono il botnet Kimwolf, che secondo Synthient ha superato i 2 milioni di dispositivi, soprattutto box Android TV. Con un gruppo di 15 TV per copia si avrebbero circa 133mila repliche e circa 80mila token al secondo in totale. Un H100 serve lo stesso modello a circa 1,95mila token al secondo, quindi lo sciame varrebbe al massimo circa 40 H100: poca potenza, con repliche che impiegano oltre 1-2 giorni per un 9B. Anthropic lo definisce un calcolo approssimativo, legato a una sola classe di hardware e a un solo botnet.
Secondo gli autori, a differenza del malware tradizionale, un replicatore AI potrebbe anche capire da solo dispositivi che non conosce.
Imparare strada facendo
Nel test di adattamento, sei generazioni di Qwen3.5-9B hanno ereditato le note della precedente: il successo nell’avvio dell’inferenza è salito dal 45% della prima generazione a valori tra 61% e 84% nelle successive. Un consulente più forte, invece, non ha aiutato: con Qwen3.5-9B affiancato da Opus 4.8 durante il setup, i consigli non hanno dato un vantaggio misurabile.
Secondo lo studio, i piccoli modelli sono relativamente forti in coding e hacking e più deboli nell’ingegneria sociale. Tra i possibili bersagli, oltre a frigoriferi, forni, aspirapolvere e tagliaerba smart, Anthropic cita telecamere e unità per videoconferenza con chip AI integrati.
Dove si colloca rispetto ad altre ricerche Anthropic
Il 9 ottobre Anthropic ha pubblicato un rapporto sulle azioni non volute di Claude in valutazioni e uso interno, di cui abbiamo scritto. Il 29 settembre ha analizzato GLM-5.3, ultimo modello di Zhipu AI, rilasciato senza protezioni significative: lo trovate nel nostro pezzo su GLM-5.3. Nello studio sull’IoT compare invece GLM-5.2, usato come soglia di capacità. Sul versante difensivo, il 6 ottobre Anthropic ha riorganizzato il Cyber Verification Program, come raccontato qui.
