Web · Hosting · Technology

blog.phostingtech.com

Appunti e articoli, senza pretese

AI in casa senza cloud: un assistente locale sul NAS o mini-PC

Da un paio d'anni gli assistenti AI sono entrati nella vita di tutti, ma quasi sempre passano da un servizio online: i tuoi messaggi viaggiano verso i server di qualcun altro. Da tecnico attento alla privacy, la domanda mi ronzava in testa da un po': e se lo facessi girare in casa? La risposta è sì, si può — e nell'ultimo anno è diventato sorprendentemente accessibile. Ecco la mia esperienza.

Perché in locale #

I motivi che mi hanno spinto sono tre:

  • Privacy: i dati non escono di casa, non finiscono su server esterni. Fondamentale se ci lavori con documenti riservati.
  • Nessun abbonamento: una volta messo su, gira senza costi mensili.
  • Controllo: decidi tu quale modello usare e come, senza dipendere dalle scelte di un fornitore.

Cosa serve (l'hardware conta) #

Qui l'onestà è d'obbligo: l'hardware fa la differenza. Un modello di AI ha bisogno soprattutto di memoria. Con un mini-PC recente o un NAS un po' muscoloso e parecchia RAM si fanno girare modelli "piccoli" in modo dignitoso; per quelli più capaci serve una scheda video dedicata con abbastanza memoria. Non serve un mostro, ma nemmeno il PC di dieci anni fa: è il punto in cui conviene ragionare prima di comprare.

Come l'ho messo su #

La bella notizia è che oggi non serve essere ricercatori. Esistono strumenti che, con pochi comandi, scaricano un modello e lo rendono utilizzabile in locale, con tanto di interfaccia comoda dal browser. In una serata ero operativo: modello scaricato, assistente raggiungibile dalla rete di casa, tutto senza connessione a servizi esterni.

Cosa ci faccio davvero #

Nell'uso concreto lo sfrutto per le stesse cose per cui userei un assistente online, ma su roba mia: riassumere documenti riservati, buttare giù bozze di testi, farmi spiegare un concetto, dare una prima occhiata a del codice. Il tutto sapendo che nulla lascia le mie mura.

I limiti da mettere in conto #

Non sarebbe onesto dipingerlo tutto rose e fiori:

  • i modelli che giri in casa sono in genere meno "brillanti" dei giganti online: ottimi per molte cose, non per tutte;
  • le prestazioni dipendono dal tuo hardware: su una macchina modesta le risposte arrivano più lentamente;
  • vale la solita regola d'oro: verifica sempre, perché anche l'AI locale può sbagliare con sicurezza.

In conclusione #

Far girare un'AI in casa è passato, nel giro di poco, da esperimento per smanettoni a cosa davvero fattibile — e per chi tiene alla privacy o gestisce dati sensibili è una possibilità che vale la pena conoscere. Non sostituisce i servizi online in tutto, ma per molti usi quotidiani, sapere che nulla esce di casa, ha un valore che nessun abbonamento ti dà.

← Tutti gli articoli