Chatbot AI sull’iPhone senza Internet: la guida per averli sempre con sé, in locale

I servizi cloud come ChatGPT sono potenti ma sollevano dubbi sulla privacy e richiedono una connessione. Grazie alla potenza del Neural Engine, è ora possibile eseguire LLM avanzati direttamente sul telefono: ecco come.

Poche cose si sono sviluppate così rapidamente come l’intelligenza artificiale negli ultimi anni. Con chatbot AI come ChatGPT o Gemini che acquisiscono nuove e migliori funzionalità quasi ogni settimana, è comprensibile avere uno di questi servizi salvato tra i preferiti o installato come app sul proprio telefono. Una cosa che tutti questi chatbot hanno in comune, però, è che sono basati su cloud, il che significa che è necessaria una connessione Internet attiva per poterli utilizzare.

Il vantaggio principale di questi servizi è che la pesante elaborazione avviene sui server remoti, consentendo di dialogare anche con i modelli linguistici (LLM) più complessi, indipendentemente dalla potenza hardware del nostro dispositivo. Questo approccio, tuttavia, solleva inevitabilmente domande sulla privacy, poiché ogni nostra richiesta viene inviata ai server dell’azienda che offre il servizio.

È qui che entra in gioco il concetto di chatbot AI locali.

I computer moderni, e in particolare gli smartphone di ultima generazione, sono diventati abbastanza potenti da poter eseguire alcuni LLM (Large Language Models) interamente sul dispositivo. Questo non solo mantiene le tue conversazioni completamente private, ma ti consente anche di utilizzare un chatbot AI persino in modalità aereo, quando sei completamente offline. Gli iPhone più recenti, alimentati dal potente Neural Engine di Apple, sono particolarmente adatti a eseguire modelli di intelligenza artificiale on-device.

Per chi fosse interessato, abbiamo testato una soluzione semplice che consente di installare ed eseguire un chatbot AI offline sul proprio iPhone. Ecco i passaggi e cosa abbiamo scoperto.

Utilizzare un LLM privato su iPhone

Aprendo l’App Store e cercando “chatbot AI offline”, si trovano diverse opzioni. La nostra scelta è ricaduta su Private LLM, un’app che richiede un acquisto una tantum di circa 5 euro e offre una selezione diversificata delle principali famiglie di LLM, tra cui Llama di Meta, Google Gemma e Mistral.

L’approccio è rinfrescante: non è richiesto alcun accesso o registrazione. Nel momento in cui avvii Private LLM, puoi iniziare immediatamente una chat con uno dei modelli locali disponibili.

Per visualizzare e scaricare altri modelli, è sufficiente toccare l’icona a tre punti nell’angolo in alto a destra e navigare su Impostazioni > Modelli. Questi modelli hanno dimensioni di alcuni gigabyte, quindi il primo download richiederà un po’ di tempo a seconda della vostra connessione.

Una volta selezionato l’LLM desiderato, è anche possibile sovrascrivere il “prompt di sistema”, che essenzialmente istruisce il modello sul suo scopo, su come deve rispondere e su qualsiasi altra specifica che desideri conosca in anticipo (ad esempio, “rispondi sempre in italiano” o “sei un assistente di programmazione”).

Tutte le conversazioni si basano esclusivamente sulla potenza di elaborazione del tuo iPhone. Nessuna informazione viene mai scambiata con nessun server. Potete verificarlo voi stessi: disattivate il Wi-Fi e i dati mobili e il chatbot continuerà a funzionare senza problemi.

Personalizzare l’esperienza del chatbot

Il cuore dell’esperienza dipende ovviamente da quale LLM si sceglie di scaricare e utilizzare. Noterete dei numeri nei nomi dei modelli, come 1B, 3B o 8B: si riferiscono al numero di parametri in miliardi. Di norma, più alto è il numero di parametri, più complesso è il ragionamento del modello e migliori (o più articolati) saranno i risultati.

Gli iPhone moderni possono eseguire modelli con un numero elevato di parametri, ma questo influenzerà direttamente la velocità di output. Ad esempio, durante i nostri test su un iPhone 15 Pro Max, il modello Llama 3.1 8B (8 miliardi di parametri) ha mostrato una generazione dell’output notevolmente più lenta rispetto al modello StableLM 2 1.6B (1.6 miliardi di parametri), che risultava quasi istantaneo.

Immergendosi nelle impostazioni dell’app, è anche possibile modificare la “temperatura di campionamento”, con un valore compreso tra 0 e 1.

• Temperatura alta (vicina a 1): Gli output saranno più creativi e “fantasiosi”, ideale se si cerca un chatbot amichevole o si vuole stimolare la creatività.
• Temperatura bassa (vicina a 0): Le risposte saranno più rigorose, focalizzate e prevedibili, opzione preferibile per attività analitiche come la programmazione o la risoluzione di problemi specifici.

Sebbene esistano alternative gratuite, abbiamo trovato convincente la semplicità e la trasparenza di Private LLM. L’app è stata anche recentemente aggiornata per abbinarsi al più recente design di iOS. Inoltre, l’acquisto una tantum sblocca l’utilizzo dell’app anche su iPad e Mac, piattaforme dove, grazie alla maggiore potenza e memoria, è possibile esplorare i modelli LLM ancora più potenti offerti dall’app.