La maggior parte dei chatbot IA più popolari, come Claude, Gemini o ChatGPT, può essere utilizzata gratuitamente. Tuttavia, spesso impongono limiti sempre più restrittivi sul uso. Inoltre, richiedere una connessione internet costante. Tuttavia, è possibile creare il proprio ChatGPT open source eseguibilmente in locale, utilizzando i modelli ufficiali di OpenAI, in modo facile, gratuito e senza bisogno di connessione internet, direttamente dal proprio PC o Mac.

Questo è reso possibile grazie ai modelli GPT-OSS, versioni open weight che OpenAI ha lanciato lo scorso anno. Parliamo delle prime versioni "aperte" che la società ha lanciato da quando è nato GPT-2, un aspetto interessante è che possono funzionare sul normali hardware di consumo. Di conseguenza, non è necessario spendere migliaia di dollari per ottenere un modello di ChatGPT open source.

I modelli GPT-OSS si basano su GPT-4, quindi non sono i modelli più recenti di OpenAI. Nonostante questo, sono estremamente efficienti e capaci di completare un’ampia gamma di compiti come programmazione, scrittura creativa, elaborazione di immagini e molto altro. La variante più piccola, ad esempio, può funzionare con soli 16 GB di memoria RAM, il che significa che quasi ogni PC o Mac moderno è sufficientemente potente per ospitarli.

Tuttavia, se pensi che eseguire modelli IA locali per ottenere un ChatGPT open source sia un compito complesso o limitato solo agli sviluppatori, ti sbagli. Per iniziare, non hai bisogno di niente più di un’app gratuita chiamata LM Studio. Da lì potrai effettuare tutti gli altri passaggi direttamente all'interno di questo software.

Crea il tuo ChatGPT open source e locale con GPT-OSS e LM Studio

dal suo sito ufficiale e sono disponibili versioni per Windows, macOS e Linux. Dopo aver completato l'installazione, puoi iniziare a configurare il tuo ChatGPT open source.

Il primo passo consiste nell'aprire la sezione Model Search, che si trova come ultima icona sul lato sinistro della finestra. Lì, puoi semplicemente cercare GPT-OSS e troverai subito la versione ufficiale OpenAI al primo risultato. In questa lista, è possibile accedere alla versione con 20 miliardi di parametri, abbastanza efficiente da eseguirsi su computer con almeno 16 GB di RAM.

Dopo aver scaricato il modello di linguaggio, attendi che il processo si completi. Una volta che l’IA sarà disponibile, potrai caricarla in LM Studio per utilizzare il tuo personale ChatGPT open source eseguibile offline.

Interazione con il tuo ChatGPT open source

Per iniziare a interagire con il chatbot, è sufficiente avviare un nuovo chat e selezionare GPT-OSS nel menu dei modelli. A quel punto, sarai in grado di utilizzare la versione open source di ChatGPT, senza dover affrontare costi per i token né necessitare di un'interconnessione internet.

Mentre questa soluzione offre libertà in termini di risorse, le restrizioni dipendono dal modello utilizzato e dall'hardware a disposizione. Tuttavia, a differenza del ChatGPT offerto tramite le app o il sito ufficiale, questa variante locale non può effettuare ricerche web e le sue capacità sono limitate a quelle di GPT-4. Inoltre, il database di conoscenza di questo modello è aggiornato al 2023, quindi non può accedere ad informazioni aggiornate più recenti. Nonostante ciò, rimane un'alternativa eccellente per chi è iniziato con le IA locali o desidera adattare il proprio assistente.

Personalizzazione delle risorse del tuo computer

Dai parametri di LM Studio è possibile personalizzare l’uso delle risorse del tuo computer. Ad esempio, puoi regolare la quantità di RAM disponibile per l’IA o la percentuale di utilizzo della CPU e della GPU.

    • Puoi scaricare ed eseguire modelli GPT-OSS tramite LM Studio in modo semplice e gratuito
    • I modelli open source si eseguono in locale senza bisogno di rete o chiavi di accesso
    • Sono compatibili con dispositivi standard e non richiedono hardware professionale
    • Hanno limitazioni derivanti solo dari modelli di riferimento, ma sono in grado di svolgere un'ampia gamma di compiti

Questo tipo di implementazione rappresenta un'ottima opportunità sia per gli utenti finali, sia per gli sviluppatori desiderosi di sperimentare modelli IA open source in completa autonomia rispetto alle limitazioni imposte da grandi fornitori del settore.