Usare un LLM in locale significa eseguire un modello linguistico sul tuo computer, invece di inviare ogni richiesta a un servizio remoto. Puoi tenere i dati sotto il tuo controllo, lavorare anche senza connessione e collegare il modello alle tue applicazioni. In cambio, memoria, configurazione e aggiornamenti diventano un compito tuo.
Il modo più rapido per capire se fa per te è una prova concreta: un modello piccolo e un breve testo da riassumere. Ollama scarica il modello e apre una chat dal terminale o da interfaccia grafica, LM Studio fa lo stesso con un’interfaccia grafica dove puoi facilmente configurare i parametri dei modelli. Confronta il riassunto con l’originale e osserva quanta memoria occupa il modello: da qui capisci se il tuo hardware basta per il lavoro che vuoi svolgere.
Che cosa significa usare un LLM in locale
Differenza tra LLM locale, cloud e API
Un LLM è un modello linguistico che genera testo a partire da un input. L’inferenza locale esegue il modello sul tuo computer o su un server che controlli. Nel cloud il calcolo avviene su un servizio remoto in cui spesso vengono si possono usare dell’API, ossia un’interfaccia con cui un programma invia richieste a un altro.
Quali dati rimangono sul computer
Controlla il backend, cioè il sistema che esegue il modello e le integrazioni attive. Un’app installata sul PC può inviare richieste al cloud. Prima di collegare documenti personali, approfondisci i rischi della privacy con gli LLM.
Perché eseguire un LLM in locale
Privacy e controllo dei dati
Gestendo l’ambiente locale puoi decidere chi accede ai file e quali servizi collegare. Nelle FAQ, Ollama dichiara di non vedere prompt e dati dei modelli eseguiti localmente. Restano da controllare accessi e integrazioni della tua configurazione.
Utilizzo senza connessione internet
Per usare AI offline devi avere già scaricato modello e runtime, il software che lo esegue. La guida di LM Studio documenta chat e documenti locali senza connessione, mentre download e aggiornamenti richiedono rete.
Costi, personalizzazione e manutenzione
Un’API locale permette di collegare il modello alle tue applicazioni. Nel confronto con servizi cloud considera il costo dell’hardware e il lavoro di configurazione, che comprende anche gli aggiornamenti. Valuta questi costi sul progetto concreto prima di aspettarti un risparmio.
Quale hardware serve per un LLM locale
La RAM è la memoria di sistema, la VRAM è quella dedicata alla GPU, il processore grafico. Il processore centrale è la CPU. llama.cpp documenta esecuzione su CPU, GPU e combinazioni delle due, quindi puoi provare configurazioni senza GPU dedicata.
I requisiti di LM Studio raccomandano 16 GB di RAM. Su Windows x64 richiedono AVX2, un insieme di istruzioni della CPU, e raccomandano 4 GB di VRAM dedicata. Su Mac servono Apple Silicon e macOS 14 o successivo. I Mac Intel non sono supportati.
Oltre ai requisiti specifici del software, considera il modello e il contesto, il testo a cui accede durante l’elaborazione, da tenere a mente che la dimensione del download non descrive tutta la memoria usata durante l’esecuzione.
Quale modello AI scegliere
Modelli piccoli per computer poco potenti
Per verificare installazione e comandi useremo qwen3:0.6b come esempio leggero. La pagina consultata il 23 ottobre 2026 riporta un download da 523 MB.
Modelli generalisti, coding e multimodalità
Per scrivere o riassumere, controlla fedeltà e qualità dell’italiano. Per il codice, prova esempi che sai verificare. Se vuoi elaborare immagini insieme al testo, accerta il supporto sia del modello sia del runtime.
Leggi la licenza del modello separatamente da quella del software. Poter scaricare i pesi, i valori numerici che definiscono il modello, non sostituisce questo controllo.
Gli strumenti per usare LLM in locale
Ollama per iniziare rapidamente
Ollama offre comandi per gestire modelli e un’API. È un punto di ingresso pratico se vuoi usare il terminale e collegare una tua applicazione.
LM Studio per un’interfaccia grafica
Con LM Studio puoi conversare con modelli scaricati e documenti attraverso un’interfaccia grafica. La guida offline distingue queste funzioni dalle operazioni che richiedono rete.
llama.cpp per maggiore controllo tecnico
llama.cpp offre un motore in C/C++ con diverse opzioni hardware. È utile quando vuoi configurare direttamente l’esecuzione di un modello compatibile, anche nel formato GGUF descritto più avanti.
Come installare il primo LLM con Ollama
I comandi seguenti sono esempi basati sulla documentazione di Ollama.
Installare Ollama sul sistema operativo
Dal quickstart ufficiale scegli Windows, macOS o Linux. Completa l’installazione e apri un terminale. Se il server non è attivo, la CLI documenta ollama serve per avviarlo.
Scaricare un modello compatibile e avviare una conversazione
Con una connessione disponibile, scarica il modello e apri la chat.
ollama pull qwen3:0.6b ollama run qwen3:0.6b
Scrivi un breve appunto inventato e chiedi un riassunto senza aggiunte. Confronta la risposta con l’originale prima di passare a documenti più lunghi.
Gestire modelli, aggiornamenti e spazio occupato
“ollama ls” elenca i modelli scaricati, mentre “ollama ps” mostra quelli in esecuzione. ollama stop qwen3:0.6b ferma il modello e ollama rm qwen3:0.6b lo rimuove. Segui le istruzioni del tuo sistema operativo per aggiornare Ollama.
Usare l’API locale di Ollama
Il server usa di default l’indirizzo 127.0.0.1:11434. Questo esempio PowerShell invia una richiesta all’endpoint chat, con risposta senza streaming, cioè senza ricevere il testo progressivamente.
Come usare un modello GGUF con llama.cpp
GGUF è un formato per archiviare modelli, con pesi e informazioni necessarie al caricamento per eseguire un modello con llama.cpp puoi provare questo comando:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
Il primo download richiede una connessione alla rete. Per la modalità server, il README propone llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF. Controlla la sintassi della versione installata prima di combinare istruzioni tratte da release diverse.
Quantizzazione e prestazioni
La quantizzazione rappresenta i pesi con precisione ridotta per contenere le risorse richieste. llama.cpp supporta diversi livelli, ad esempio Q4_K_M, riportato per il modello di prova, identifica una rappresentazione quantizzata.
Confronta la qualità delle risposte usando lo stesso input fra le prove, poi osserva velocità e memoria. Anche ampliare il contesto cambia il consumo di memoria. Una risposta rapida che omette informazioni può essere inadatta al tuo compito.
Cosa si può fare con un LLM locale
Scrittura, documenti e sviluppo software
Come esercizio puoi riassumere un appunto o tradurre un testo. Se lavori con il codice, chiedi una spiegazione e confrontala con ciò che sai verificare. LM Studio documenta anche conversazioni con documenti locali.
Creare un sistema RAG locale
Un sistema RAG recupera documenti pertinenti e li fornisce al modello per rispondere. Ollama offre un endpoint per embedding, rappresentazioni numeriche del testo utili al recupero. Occorre un modello adatto e un’applicazione che gestisca il flusso completo.
Collegare il modello ad app e automazioni
L’API chat permette di inviare richieste da un programma. Quando aggiungi servizi, controlla il percorso dei dati di ciascuna integrazione, compresa l’eventuale ricerca web.
Usare modelli locali per dati aziendali riservati
Definisci chi può accedere ai documenti e dove vengono conservati. Per progettare questi controlli approfondisci come proteggere gli LLM prima di collegare cartelle aziendali.
Limiti e problemi frequenti
Se il modello è lento, guarda memoria e contesto. ollama ps mostra anche se l’esecuzione usa CPU, GPU o entrambe. Se l’API non risponde, controlla che il server sia attivo e l’indirizzo corretto. Quando una richiesta raggiunge il cloud, ricontrolla modello e backend selezionati.
Per una risposta errata conserva input e output, poi ripeti la prova dopo la modifica. Cambiare runtime non dimostra da solo che il contenuto sia diventato corretto.
LLM locale o servizio cloud: quale scegliere
Valuta il locale se vuoi gestire l’ambiente e puoi dedicarvi risorse. Il cloud permette di delegare l’infrastruttura, quando i vincoli sui dati consentono il servizio scelto.
Confronta entrambe le opzioni su un compito reale, annotando gli errori nelle risposte e i tempi. Considera poi la manutenzione richiesta. Se lavorare senza connessione è un requisito, verifica l’intera procedura offline dopo i download.
Come iniziare con un LLM in locale
Scegliere un caso d’uso e provare un modello compatibile
Installa un solo strumento e scegli una prova circoscritta, come riassumere appunti non sensibili. Usa la procedura descritta prima di aggiungere altri componenti.
Misurare il risultato prima di aggiungere RAG o automazioni
Per strutturare i controlli puoi approfondire Fondamenti di AI Security e, per agenti che compiono azioni, Agentic AI Security. Conserva il testo iniziale e annota errori, tempi e memoria della prima prova, poi ripeti lo stesso compito dopo ogni modifica.
AUTORE:Vincenzo Maritati Apri profilo LinkedIn
Vincenzo è Co-founder di Data Masters, AI Academy per la formazione in Intelligenza Artificiale, Machine Learning e Data Science. È un ricercatore informatico che lavora attivamente nel campo dell’Intelligenza Artificiale, coordinando progetti di ricerca e sviluppo che spaziano in diversi ambiti, come la mobilità intelligente, sistemi di telemedicina, la manutenzione predittiva, il controllo della produzione industriale e la formazione.
