Come creare il tuo chatbot AI con PC Ryzen AI e GPU Radeon

Nell'era digitale odierna, l'interesse verso l'intelligenza artificiale (AI) è in costante crescita, e la capacità di eseguire applicazioni AI direttamente sul proprio hardware personale rappresenta un passo significativo verso una maggiore autonomia e sicurezza. AMD, leader nel settore dei processori e delle schede grafiche, ha recentemente condiviso sul proprio blog aziendale delle guide dettagliate, passo dopo passo, su come gli utenti possono scaricare ed eseguire un chatbot AI in locale. Questa iniziativa si rivolge specificamente ai possessori di PC dotati di processori Ryzen AI o schede grafiche Radeon, offrendo loro la possibilità di esplorare il mondo degli Large Language Models (LLM) direttamente dal proprio dispositivo.

L'esecuzione locale di queste applicazioni AI porta con sé numerosi vantaggi, tra cui spicca la fondamentale salvaguardia della privacy dei dati. Tutte le interazioni e le informazioni elaborate rimangono sul proprio PC, senza la necessità di essere inviate a server esterni o servizi cloud. Questa caratteristica è particolarmente rilevante in un contesto dove la sicurezza e la riservatezza delle informazioni personali sono prioritarie. Inoltre, la capacità di operare anche senza una connessione internet rende queste soluzioni estremamente flessibili e accessibili in qualsiasi momento e luogo. Le guide di AMD non si limitano alla semplice esecuzione di un chatbot, ma approfondiscono anche aspetti avanzati come l'attivazione della Generazione Aumentata da Recupero (RAG) per migliorare il contesto e la pertinenza delle risposte degli LLM, o l'utilizzo di un LLM locale per supportare la programmazione con maggiore affidabilità e riservatezza.

Eseguire un LLM sul tuo PC AMD Ryzen AI o la tua scheda grafica Radeon

Il processo per creare il proprio chatbot AI è stato semplificato da AMD, rendendolo accessibile anche a chi non ha una profonda conoscenza tecnica. La procedura inizia con il download di uno strumento chiamato LM Studio, che funge da interfaccia per la gestione e l'esecuzione dei modelli di linguaggio. Seguire le istruzioni è cruciale per garantire il corretto funzionamento e sfruttare al meglio le capacità del proprio hardware AMD.

Passo dopo passo: Configurazione del chatbot AI

Per creare il tuo chatbot AI personalizzato, segui attentamente le istruzioni riportate di seguito:

  1. Scarica la versione corretta di LM Studio ed esegui il file:
    • Per i processori AMD Ryzen AI: scarica LM Studio-Windows.
    • Per le schede grafiche AMD Radeon RX serie 7000: scarica LM Studio – Aperçu technique ROCm™.
  2. Nella scheda di ricerca, copia e incolla uno dei due termini di ricerca seguenti, a seconda del modello che desideri eseguire:
    • Se desideri eseguire Mistral 7b, cerca: « TheBloke/OpenHermes-2.5-Mistral-7B-GGUF » e selezionalo nei risultati sulla sinistra. Sarà generalmente il primo risultato.
    • Se desideri eseguire LLAMA v2 7b, cerca: « TheBloke/Llama-2-7B-GGUF » e selezionalo nei risultati sulla sinistra. Sarà generalmente il primo risultato.

    È importante notare che puoi anche sperimentare con altri modelli disponibili in questa sezione.

  3. Nel pannello di destra, scorri verso il basso fino a visualizzare il file del modello Q4 K M. Clicca su Scarica. AMD raccomanda il modello Q4 K M per la maggior parte dei modelli equipaggiati con Ryzen AI. Attendi il completamento del download, che potrebbe richiedere del tempo a seconda della tua connessione e delle dimensioni del modello.
  4. Vai nella scheda "chat". Seleziona il modello dal menu a discesa centrale in alto al centro e attendi che finisca di caricarsi. A questo punto, se possiedi un PC AMD Ryzen AI, puoi iniziare a conversare con il tuo chatbot.
  5. Se hai una scheda grafica AMD Radeon, ci sono alcuni passaggi aggiuntivi per ottimizzare le prestazioni:
    • Spunta "GPU Offload" sul pannello laterale destro.
    • Sposta il cursore fino a "Max".
    • Assicurati che AMD ROCm appaia come il tipo di GPU rilevato. Questo passaggio è fondamentale per sfruttare la potenza di calcolo della tua GPU Radeon per le operazioni AI.

Le prestazioni di Ryzen AI: Un vantaggio competitivo

AMD non si è limitata a fornire istruzioni, ma ha anche dimostrato le superiori capacità dei suoi processori Ryzen AI. In un confronto diretto con il Core Ultra 7 155H di Intel, i test condotti da AMD hanno evidenziato che Ryzen AI surclassa il concorrente nella generazione di contenuti, inclusa la programmazione, offrendo velocità superiori nell'esecuzione di un chatbot AI basato su LLM. Questi risultati sottolineano l'efficienza e la potenza dei chip AMD nell'accelerare i carichi di lavoro legati all'intelligenza artificiale.

Nello specifico, le metriche di performance parlano chiaro:

  • Per quanto riguarda i token per secondo, Ryzen AI è fino al 17% più veloce su Mistral Instruct e fino al 14% più veloce su LLAMA v2 Chat. Questa maggiore velocità si traduce in risposte più rapide e un'esperienza utente più fluida e interattiva.
  • In termini di tempo necessario per ottenere il primo token, un indicatore cruciale della reattività del sistema, Ryzen AI è fino al 41% più veloce su Mistral Instruct e fino al 79% più veloce su LLAMA v2 Chat. Questo significa che l'utente riceverà la prima parte della risposta molto più rapidamente, migliorando notevolmente la percezione della velocità e dell'efficienza del chatbot.

Attivare la Generazione Aumentata da Recupero (RAG)

Oltre all'esecuzione di base degli LLM, il blog di AMD fornisce anche indicazioni dettagliate su come attivare la Generazione Aumentata da Recupero (RAG) su un PC AMD Ryzen AI o una scheda grafica Radeon. La tecnologia RAG è fondamentale per migliorare la qualità delle risposte dei Large Language Models, consentendo loro di attingere a una base di conoscenze esterna per fornire un contesto più ricco e risposte più accurate e pertinenti. Questa funzionalità è particolarmente utile per applicazioni che richiedono conoscenze specifiche o aggiornate, andando oltre la semplice memorizzazione del modello.

In sintesi, le guide di AMD aprono le porte a un'esperienza AI più personalizzata, sicura e performante direttamente sul proprio hardware. L'impegno dell'azienda nel supportare l'ecosistema dell'AI locale non solo garantisce una maggiore privacy per gli utenti, ma stimola anche l'innovazione e la sperimentazione nel campo dell'intelligenza artificiale, rendendola più accessibile e potente per tutti.