Che cos'è il servizio agente Foundry? (versione classica)

Visualizzazione attuale:Versione del portale Foundry (versione classica) - Passa alla versione per il nuovo portale Foundry

La maggior parte delle aziende non vuole solo chatbot. Si vuole che l'automazione sia più veloce e abbia meno errori. Questo desiderio potrebbe significare riepilogare documenti, elaborare fatture, gestire ticket di supporto o pubblicare post di blog. In tutti i casi, l'obiettivo è lo stesso: liberare persone e risorse per concentrarsi sul lavoro di valore superiore scaricando attività ripetitive e prevedibili.

I modelli di linguaggio di grandi dimensioni introducono un nuovo tipo di automazione con sistemi in grado di comprendere i dati non strutturati, prendere decisioni e generare contenuto. In pratica, le aziende possono avere difficoltà a superare le demo e ad entrare in produzione. Gli LLM possono deviare, essere inesatti e mancare di responsabilità. Senza visibilità, applicazione dei criteri e orchestrazione, questi modelli sono difficili da considerare attendibili nei flussi di lavoro aziendali reali.

Microsoft Foundry è progettato per modificarlo. Si tratta di una piattaforma che combina modelli, strumenti, framework e governance in un sistema unificato per la creazione di agenti intelligenti. Al centro di questo sistema c'è il Foundry Agent Service, che consente il funzionamento degli agenti durante lo sviluppo, la distribuzione e la produzione.

Diagramma che mostra foundry Agent Service come hub centrale che connette quattro componenti: modelli di intelligenza artificiale a sinistra, strumenti e framework nella parte superiore, governance e conformità a destra e orchestrazione nella parte inferiore. Le frecce indicano che il servizio agent consente agli agenti di passare dallo sviluppo all'ambiente di produzione.

Il servizio Agent connette i componenti principali di Foundry, ad esempio modelli, strumenti e framework, in un singolo runtime. Gestisce conversazioni, orchestra le chiamate agli strumenti, applica la sicurezza dei contenuti e si integra con sistemi di identità, rete e osservabilità. Queste funzionalità consentono di creare agenti sicuri, scalabili e pronti per la produzione.

Astraendo la complessità dell'infrastruttura e applicando fiducia e sicurezza in base alla progettazione, il servizio Agent consente di passare dal prototipo alla produzione con sicurezza.

Prerequisiti

  • Una sottoscrizione Azure con l'autorizzazione per creare e gestire le risorse foundry.
  • Progetto Foundry. Se non ne è ancora stato creato uno, iniziare con la configurazione dell'ambiente.
  • Un modello distribuito che l'agente può utilizzare. La disponibilità del modello e dell'area può variare; vedere i modelli che informano gli agenti.

Disponibilità, aree e limiti

Le funzionalità del servizio Agent possono variare in base all'esperienza *foundry* che utilizzi e al modello e alla regione che scegli.

Se si sta creando il primo agente, iniziare con i collegamenti di avvio rapido in Introduzione al servizio Agente Foundry per assicurarsi di trovarsi nel percorso API corretto per l'esperienza Foundry.

Che cos'è un agente di intelligenza artificiale?

Gli agenti prendono decisioni, richiamano gli strumenti e partecipano ai flussi di lavoro. Eseguono queste attività a volte in modo indipendente e talvolta in collaborazione con altri agenti o esseri umani. Sono fondamentali per l'automazione dei processi reali.

Gli agenti creati tramite Foundry non sono monoliti. Sono unità componibili. Ogni agente ha un ruolo specifico, è basato sul modello corretto ed è dotato degli strumenti giusti. Ogni agente viene distribuito all'interno di un runtime sicuro, osservabile e gestibile.

Un agente ha tre componenti principali:

  • Modello (LLM): supporta il ragionamento e la comprensione del linguaggio.
  • Istruzioni: definire gli obiettivi, il comportamento e i vincoli dell'agente. Possono avere i tipi seguenti:
    • Dichiarativa:
      • Basato su prompt: un singolo agente definito in modo dichiarativo che combina la configurazione del modello, l'istruzione, gli strumenti e i prompt del linguaggio naturale per guidare il comportamento.
      • Flusso di lavoro: flusso di lavoro agente che può essere espresso come YAML o altro codice per orchestrare più agenti insieme o per attivare un'azione su determinati criteri.
    • Ospitato: agenti in contenitori creati e distribuiti tramite codice e ospitati da Foundry.
  • Strumenti: consentire all'agente di recuperare informazioni o intervenire.

Diagramma che mostra un agente che riceve input utente a sinistra, li elabora tramite il modello e le istruzioni al centro e produce output a destra. Una freccia bidirezionale sotto l'agente si connette agli strumenti, che indica che l'agente può chiamare gli strumenti durante l'elaborazione per recuperare informazioni o intraprendere azioni.

Gli agenti ricevono input non strutturati, ad esempio prompt degli utenti, avvisi o messaggi da altri agenti. Producono output sotto forma di risultati o messaggi degli strumenti. Lungo il percorso, possono chiamare strumenti per recuperare informazioni o attivare azioni.

Come funzionano gli agenti in Foundry?

Si pensi a Foundry come una linea di montaggio per agenti intelligenti. Come qualsiasi fabbrica moderna, Foundry riunisce stazioni specializzate che sono ognuna responsabile della modellazione di parte del prodotto finale. Invece di macchine e nastri trasportatori, la fabbrica di agenti usa modelli, strumenti, politiche e orchestrazione per creare agenti sicuri, testabili e pronti per l'uso in produzione. Ecco come funziona la factory in modo dettagliato:

Diagramma che mostra la factory dell'agente come linea di assemblaggio in sei fasi. Il passaggio 1 Modelli mostra la selezione di un LLM. Il passaggio 2 Personalizzazione mostra l'ottimizzazione e le richieste. Il passaggio 3 Conoscenza e Strumenti mostra la connessione ai dati e alle azioni aziendali. Passaggio 4 Orchestrazione mostra il coordinamento dei flussi di lavoro dell'agente. Il passaggio 5 Osservabilità mostra la registrazione e il tracciamento. Il passaggio 6 Affidabilità mostra i controlli di sicurezza. I passaggi passano da sinistra a destra, producendo un agente pronto per la produzione.

1. Modelli

La linea di montaggio inizia quando si seleziona un modello che fornisce all'agente la relativa intelligenza. Scegliere tra un catalogo crescente di modelli di linguaggio di grandi dimensioni, tra cui GPT-4o, GPT-4, GPT-3.5 (Azure OpenAI) e altri come Llama. Il modello è il nucleo di ragionamento dell'agente che ne informa le decisioni.

2. Personalizzazione

Modellare il modello in base al caso d'uso. Personalizzare l'agente con prompt specifici per il dominio, messa a punto, o distillazione. Codificare il comportamento dell'agente, le conoscenze specifiche del ruolo e i modelli delle prestazioni precedenti usando i dati acquisiti dai risultati reali del contenuto della conversazione e degli strumenti.

3. Conoscenza e strumenti

Equipaggiare l'agente con gli strumenti. Questi strumenti consentono all'agente di accedere alle informazioni aziendali (ad esempio Bing, SharePoint e Azure AI Search) e di intraprendere azioni reali (tramite App per la logica di Azure, Funzioni di Azure, OpenAPI e altro ancora). Questo passaggio migliora la capacità dell'agente di espandere le funzionalità.

4. Orchestrazione

L'agente necessita del coordinamento. Gli agenti connessi orchestrano il ciclo di vita completo, ad esempio la gestione delle chiamate degli strumenti, l'aggiornamento dello stato della conversazione, la gestione dei ritentativi e la registrazione dei risultati.

5. Osservabilità

Testare e monitorare gli agenti. Foundry è in grado di acquisire log, tracce e valutazioni in ogni passaggio. Grazie alla visibilità completa a livello di conversazione e all'integrazione di Application Insights, i team possono esaminare ogni decisione e migliorare continuamente gli agenti nel tempo.

6. Fiducia

Assicurarsi che gli agenti siano adatti e affidabili per il carico di lavoro a cui sono assegnati. Foundry applica funzionalità di attendibilità di livello aziendale, tra cui l'identità tramite Microsoft Entra, il controllo degli accessi in base al ruolo, i filtri di contenuto, la crittografia e l'isolamento della rete. È possibile scegliere come e dove vuoi che gli agenti vengano eseguiti, utilizzando l'infrastruttura gestita dalla piattaforma o la propria.

Il risultato è un agente pronto per la produzione: affidabile, estendibile e sicuro da distribuire nei flussi di lavoro.

Perché usare il servizio Agente Foundry?

Il servizio Agent offre una base pronta per la produzione per la distribuzione di agenti intelligenti in ambienti aziendali. Ecco come viene confrontato tra le funzionalità principali:

Capacità Servizio agente
Visibilità delle conversazioni Accesso completo alle conversazioni strutturate, inclusi i messaggi da utente a agente e da agente a agente. Ideale per interfacce utente, debug e training.
Coordinamento di più agenti Supporto predefinito per la messaggistica da agente a agente.
Orchestrazione degli strumenti Esecuzione lato server e ripetizione delle invocazioni di strumenti con registrazione strutturata. Non è necessaria alcuna orchestrazione manuale.
Fiducia e sicurezza Filtri di contenuto integrati che consentono di prevenire l'uso improprio e ridurre i rischi di inserimento dei prompt, inclusi gli attacchi di inserimento incrociato (XPIA). Tutti gli output sono regolati dai criteri.
Integrazione aziendale Possibilità di usare storage, Azure AI Search index e rete virtuale per soddisfare le esigenze di conformità.
Osservabilità e debug Tracciabilità completa delle conversazioni, delle chiamate degli strumenti e delle tracce dei messaggi; Integrazione di Application Insights per i dati di utilizzo.
Controllo delle identità e dei criteri Basato su Microsoft Entra con supporto completo per il controllo degli accessi in base al ruolo, i log di controllo e l'accesso condizionale aziendale.

Sicurezza, privacy e conformità

Il servizio Agent è progettato per carichi di lavoro aziendali in cui sono necessari controlli sicuri sull'identità, sulla rete, sulla gestione dei dati e sulla sicurezza.

  • Controlli di sicurezza: usare filtri di contenuto integrati per ridurre gli output non sicuri e attenuare i rischi di inserimento dei prompt, inclusi gli attacchi XPIA (Cross-Prompt Injection).
  • Controlli di isolamento della rete e della residenza dei dati: usare le reti virtuali e le risorse personalizzate per soddisfare i requisiti.
  • Porta le tue risorse: Usa le tue risorse Azure (ad esempio, archiviazione, Azure AI Search e Azure Cosmos DB per lo stato della conversazione) per rispondere alle esigenze operative e di conformità. Consultare Utilizzare le proprie risorse.
  • Responsible AI guidance: per un set più ampio di raccomandazioni e risorse di governance, vedere Responsible AI for Microsoft Foundry.

Introduzione al servizio agente Foundry

Per iniziare a usare il servizio Agent, creare un progetto Foundry nella sottoscrizione di Azure.

Se stai sviluppando in codice, consulta Microsoft Foundry SDKs per le opzioni e le indicazioni sugli SDK.

Se è la prima volta che si usa il servizio, iniziare con la configurazione dell'ambiente e le guide introduttive .

Creare un progetto con le risorse necessarie. Dopo aver creato un progetto, distribuire un modello compatibile, ad esempio GPT-4o. Dopo aver distribuito un modello, è possibile iniziare a effettuare chiamate API al servizio Agent usando gli SDK.

BCDR per gli agenti

Per supportare la resilienza del servizio, il servizio Agent si basa sugli account di Azure Cosmos DB con provisioning del cliente per la continuità aziendale e il ripristino di emergenza (BCDR). Questo approccio consente di garantire che lo stato dell'agente possa essere mantenuto e ripristinato in caso di interruzione a livello regionale.

In qualità di cliente Azure Standard, è possibile effettuare il provisioning e gestire il proprio account Azure Cosmos DB a tenant singolo. Tutti gli stati dell'agente vengono archiviati in questo account. È possibile controllare il backup e il ripristino tramite funzionalità native in Azure Cosmos DB.

Se l'area primaria non è più disponibile, l'agente si connette automaticamente allo stesso account Azure Cosmos DB nell'area secondaria. Poiché Cosmos DB mantiene tutta la cronologia, l'agente può continuare l'operazione con un'interruzione minima.

Effettuare il provisioning e gestire l'account Azure Cosmos DB e configurare i criteri di backup e ripristino appropriati. Questo sforzo consente di garantire una continuità uniforme se l'area primaria non è più disponibile.

Per indicazioni sulla configurazione, vedere Usare le proprie risorse e reti virtuali.

Costi

L'uso del servizio Agent può comportare costi per il modello che distribuisci e per le risorse Azure utilizzate nel tuo progetto, ad esempio log e le risorse gestite dal cliente a cui ti connetti.

Per comprendere e gestire i driver dei costi, vedere Pianificare e gestire i costi.

Risoluzione dei problemi

Se hai difficoltà a iniziare, controlla questi problemi comuni:

Contenuto correlato

  • Last updated on