Microsoft ha annunciato Azure AI Studio a metà novembre 2023 come una nuova piattaforma pensata per lo sviluppo di applicazioni di intelligenza artificiale generativa (Generative AI; GenAI) basate su diversi e variegati Large Language Models (LLM). L'obiettivo dichiarato è quello di semplificare la vita degli utenti.

Con Azure AI Studio, gli utenti ottengono un sistema per selezionare modelli di intelligenza artificiale generativa e affinarli utilizzando Retrieval Augmented Generation (RAG), tecnologie vettoriali e dati. Si tratta dello strumento di base per sviluppare assistenti basati sull'IA – i cosiddetti copiloti – e si rivolge principalmente a sviluppatori esperti e data scientist. Al contrario, Copilot Studio è uno strumento low-code, con cui è possibile personalizzare i chatbot.

Abbiamo esaminato in dettaglio la versione di anteprima di Microsoft AI Studio.

Azure AI Studio – Catalogo dei modelli AI

Per quanto riguarda la selezione dei modelli di intelligenza artificiale, Azure AI Studio di Microsoft non si risparmia. I modelli AI disponibili provengono da:

Microsoft Research
OpenAI
Meta
Hugging Face
Databricks e
Nvidia.

Dovreste quindi non avere problemi a trovare il modello ottimale per la vostra applicazione – o almeno uno che sia sufficientemente adatto allo scopo.

Azure AI Studio può filtrare i modelli in base alle collezioni, ai compiti di inferenza che supportano e ai compiti di fine-tuning che supportano. Il seguente screenshot fornisce informazioni sulle possibilità:

I criteri di filtro in Azure AI Studio probabilmente continueranno a evolversi in futuro.

Fondamentalmente, Azure AI Studio mette a disposizione i modelli AI attraverso due meccanismi:

Model as a Service (MaaS) e
Model as a Platform (MaaP).

Model as a Service significa che si accede al modello AI tramite API e, di solito, si paga "as you go". Il modello stesso "vive" in un pool centrale con accesso a capacità GPU. Tutti i modelli Azure OpenAI sono disponibili in forma MaaS, il che ha senso considerando il loro fabbisogno di potenza di calcolo GPU.

Model as a Platform significa che si distribuisce il modello AI in macchine virtuali che fanno parte del proprio abbonamento Azure.

Nel nostro primo test, abbiamo distribuito il modello Mistral 7B in una singola VM (tipo Standard_NC24ads_A100_v4). Questa disponeva di 24 vCPU, 220 GB di RAM, una GPU NVIDIA A100 PCIe e processori AMD Epyc di terza generazione. I risultati di inferenza non giustificati per i nostri prompt personalizzati non sono stati impressionanti: la risposta era corretta, ma circondata da allucinazioni irrilevanti. Non si può escludere che questo possa essere risolto con il Prompt Engineering e/o RAG.

Importante da sapere: anche se il vostro account Azure o la vostra regione non dispongono di quote GPU, potete comunque ricorrere al modello Model-as-a-Platform. Lo svantaggio è che la capacità GPU condivisa è disponibile solo per un tempo limitato (tra 24 e 168 ore). Tuttavia, questa non dovrebbe essere una soluzione permanente, ma una soluzione ponte – fino a quando il vostro amministratore cloud non potrà procurare le quote GPU.

Azure AI Studio – Strumenti e componenti

I diversi tab di Azure AI Studio contengono varie funzionalità dell'hub di sviluppo GenAI:

Explore offre accesso a: catalogo dei modelli AI, benchmark dei modelli, funzioni di elaborazione del parlato, del linguaggio e delle immagini, Responsible AI e esempi di prompt.
Tramite Build sono disponibili diversi strumenti: Playground, Evaluation, Prompt Flow, Custom Neural Voice, Fine-tuning e componenti per Data, Indexes, Deployments e Content-Filter.
Il tab Manage offre una panoramica delle risorse e delle quote.

Di seguito, esaminiamo in dettaglio le singole funzioni, gli strumenti e i componenti di Azure AI Studio.

Speech

Azure AI Studio include le funzioni vocali di Cognitive Services per creare applicazioni a controllo vocale. Si tratta di modelli specifici per la voce – non di intelligenza artificiale generativa. Questi servizi vocali predefiniti sono tutti dotati di campioni riproducibili. Inoltre, la Voice Gallery contiene attualmente quasi 500 voci diverse in varie lingue e varianti.

Language

Nell'ambito dei servizi Azure AI, Azure AI Studio raggruppa tre servizi linguistici individuali – Text Analytics, QnA Maker e Language Understanding (LUIS). Questi modelli consentono di classificare e riassumere documenti, tradurre in tempo reale o integrare la PNL nella vostra esperienza bot.

I servizi nell'area Language includono modelli linguistici predefiniti e ottimizzati per compiti specifici.

Vision

I servizi di elaborazione delle immagini in Azure AI Studio consentono di leggere testo, analizzare immagini o riconoscere volti con Machine Learning e OCR.

Responsible AI

La soluzione Azure per la Responsible AI si chiama Content Safety Studio. Con essa è possibile moderare contenuti testuali e visivi, verificare i rischi di "jailbreak" per l'intelligenza artificiale generativa, costruire meta-prompt, rilevare materiale protetto e monitorare le attività e i dati online.

Il Content Safety Studio offre diverse opzioni di "guardrail".

Prompt Samples

Nella sezione Prompts sono disponibili diversi esempi, alcuni dei quali molto interessanti. Ad esempio, è possibile esplorare come insegnare a un Large Language Model a interpretare immagini o a risolvere problemi aritmetici di base.

Playground

Tutti gli esempi di prompt possono essere aperti con lo strumento Playground di Azure AI Studio. In alternativa, è possibile aprire il progetto anche in Visual Studio Code (web) se si preferisce lavorare "nel codice". Playground è lo strumento più utile in Azure AI Studio per il Prompt Engineering e l'ottimizzazione degli iperparametri.

Evaluation

Con questo strumento avete la possibilità di valutare i vostri modelli linguistici rispetto a metriche standard del settore. Successivamente, potete scegliere la versione migliore per le vostre esigenze.

Prompt Flow

Prompt Flow è il luogo in cui è possibile estendere il proprio modello a un'applicazione – inclusi RAG, filtri di contenuto, embeddings, codice, output vocale personalizzato e fine-tuning. Prompt Flow offre agli utenti un facile approccio allo sviluppo di applicazioni AI sofisticate. Lo strumento è disponibile separatamente anche su GitHub, con un proprio SDK e un'estensione per Visual Studio Code.

Custom Neural Voice

Questo strumento offre una piattaforma (attualmente con accesso limitato, possibile solo su richiesta) per creare nuove voci AI personalizzate per le vostre applicazioni. A questo scopo, è possibile progettare "personalità vocali uniche" e gestire in modo efficiente i relativi set di dati, modelli, test e connessioni agli endpoint.

Fine-tuning

Nella fase di anteprima, con lo strumento di fine-tuning era possibile affinare solo i modelli Llama-2 – tuttavia, esclusivamente nella regione West US 3.

Data

È possibile connettere Azure AI Studio con dati provenienti da Azure Blob Storage, Azure Data Lake Storage Gen 2 o Microsoft OneLake. È anche possibile utilizzare i propri dati per implementare RAG.

Inoltre, è possibile utilizzare file di immagine (fino a 16 MB per file) per GPT-4 Turbo con Vision dal Playground.