Migliorare il livello di maturità per le operazioni di intelligenza artificiale generativa (GenAIOps)

Operazioni di intelligenza artificiale generative o GenAIOps (talvolta denominate LLMOps), descrive le procedure operative e le strategie per la gestione di modelli di linguaggio di grandi dimensioni nell'ambiente di produzione. Questo articolo fornisce indicazioni su come migliorare le funzionalità in GenAIOps, in base al livello di maturità corrente dell'organizzazione.

Usare le descrizioni seguenti per trovare il livello di classificazione del modello di maturità GenAIOps . Questi livelli forniscono una comprensione generale e un livello di applicazione pratico dell'organizzazione. Le linee guida forniscono collegamenti utili per espandere la knowledge base GenAIOps.

Livello 1 - iniziale

Descrizione: La tua organizzazione è allo stadio iniziale della fase fondamentale di maturità GenAIOps. Si stanno esplorando le funzionalità delle VM, ma non sono ancora state sviluppate procedure strutturate o approcci sistematici.

Per iniziare, acquisire familiarità con diverse API LLM e le relative funzionalità. Iniziare quindi a sperimentare la progettazione strutturata dei prompt e la progettazione di base dei prompt. Esaminare Microsoft Learn articoli come punto di partenza. Dopo aver appreso ciò che si è appreso, scoprire come introdurre le metriche di base per la valutazione delle prestazioni delle applicazioni LLM.

Riferimenti suggeriti per l'avanzamento di livello 1

• Catalogo dei modelli di fonderia
• Esplora il catalogo modelli del portale Microsoft Foundry
• Introduzione a Prompt Engineering
• Tecniche di progettazione dei prompt
• System Message Framework
• Flusso di prompt nel portale di Foundry
• Valutare le applicazioni GenAI con Foundry
• Metriche di valutazione e monitoraggio genAI con Foundry

Per comprendere meglio GenAIOps, prendere in considerazione i corsi e i workshop di apprendimento disponibili Microsoft:

• concetti fondamentali sull'intelligenza artificiale Microsoft Azure: GenAI
• Corso GenAI per principianti

Livello 2 : definito

Descrizione: L'organizzazione ha iniziato a sistemare le operazioni LLM, con particolare attenzione allo sviluppo strutturato e alla sperimentazione. Tuttavia, c'è spazio per l'integrazione e l'ottimizzazione più sofisticate.

Per migliorare le funzionalità e le competenze, imparare a sviluppare richieste più complesse e integrarle in modo efficace nelle applicazioni. Implementare un approccio sistematico per la distribuzione di applicazioni LLM, possibilmente esplorando l'integrazione CI/CD. Iniziare a usare metriche di valutazione più avanzate, ad esempio base, pertinenza e somiglianza. Concentrarsi sulla sicurezza dei contenuti e sulle considerazioni etiche sull'utilizzo di LLM.

Riferimenti suggeriti per l'avanzamento di livello 2

• Seguire il workshop dettagliato per elevare le procedure GenAIOps
• Flusso di prompt nel portale di Foundry
• Come costruire con Prompt Flow
• Distribuire un flusso come endpoint online gestito per l'inferenza in tempo reale
• Integrare Prompt Flow con GenAIOps
• Valutazione GenAI con Foundry
• Metriche di valutazione e monitoraggio genAI
• Azure Content Safety
• Strumenti e pratiche di IA responsabile

Livello 3 : gestito

Descrizione: L'organizzazione gestisce flussi di lavoro LLM avanzati con strategie di monitoraggio proattivo e distribuzione strutturata. Si è vicini al raggiungimento dell'eccellenza operativa.

Per espandere la knowledge base, concentrarsi sul miglioramento continuo e sull'innovazione nelle applicazioni LLM. Migliorare le strategie di monitoraggio con l'analisi predittiva e le misure complete di sicurezza dei contenuti. Impara a ottimizzare e affinare le applicazioni LLM per requisiti specifici. Rafforzare le strategie di gestione degli asset tramite funzionalità avanzate di controllo della versione e rollback.

Riferimenti suggeriti per l'avanzamento di livello 3

• Ottimizzazione con Azure ML Learning
• Personalizzazione dei modelli con ottimizzazione
• Monitoraggio del modello GenAI
• Elevare le app LLM all'ambiente di produzione con GenAIOps

Livello 4 - ottimizzato

Descrizione: L'organizzazione dimostra l'eccellenza operativa in GenAIOps. Si ha un approccio sofisticato allo sviluppo, alla distribuzione e al monitoraggio delle applicazioni LLM.

Man mano che gli LLM si evolvono, mantieni la tua posizione all'avanguardia mantenendoti aggiornato sulle ultime innovazioni degli LLM. Valutare continuamente l'allineamento delle strategie LLM con obiettivi aziendali in evoluzione. Promuovere una cultura dell'innovazione e dell'apprendimento continuo all'interno del team. Condividere le proprie conoscenze e le procedure consigliate con la comunità più vasta per stabilire l'autorevolezza nel settore.

Riferimenti suggeriti per tecniche avanzate

• catalogo dei modelli
• Valutazione delle applicazioni GenAI