Che cos'è Azure Content Understanding in Foundry Tools?

Nota

Content Understanding è ora un servizio disponibile a livello generale con la versione dell'API 2025-11-01 . Per informazioni dettagliate, vedere Novità.

Azure Content Understanding in Foundry Tools è uno strumento Foundry disponibile come parte della risorsa Microsoft Foundry Resource nel portale di Azure. Usa l'intelligenza artificiale generativa per elaborare e inserire molti tipi di contenuto, tra cui documenti, immagini, video e audio, in un formato di output definito dall'utente. Content Understanding offre un processo semplificato per ragionare su grandi quantità di dati non strutturati, accelerando il time-to-value generando un output che è possibile integrare nei flussi di lavoro analitici e di automazione.

Screenshot della panoramica della comprensione del contenuto, del processo e del flusso di lavoro.

Perché usare Content Understanding?

Content Understanding accelera il time-to-value abilitando l'elaborazione diretta di dati non strutturati con punteggi di attendibilità, riducendo al minimo la revisione manuale e riducendo i costi operativi. I vantaggi principali includono:

  • Semplificare e semplificare i flussi di lavoro. Content Understanding standardizza l'estrazione e la classificazione di contenuto, struttura e informazioni dettagliate da vari tipi di contenuto in un processo unificato.

  • Semplificare l'estrazione dei campi. L'estrazione dei campi di Content Understanding semplifica la generazione di output strutturati da contenuto non strutturato. Definire uno schema per estrarre, classificare o generare valori di campo senza la necessità di ingegneria dei prompt complessi.

  • Migliorare l'accuratezza. Content Understanding usa più modelli di intelligenza artificiale per analizzare e convalidare simultaneamente le informazioni, ottenendo risultati più accurati e affidabili.

  • Punteggi di attendibilità e fondamenti Content Understanding garantisce l'accuratezza dei valori estratti riducendo al minimo il costo della revisione umana.

  • Classificare i tipi di contenuto. Content Understanding consente di classificare i tipi di documento per semplificare la possibilità di elaborare il contenuto. Questa funzionalità è ora disponibile in un approccio unificato nell'API Analizza.

  • Analizzatori predefiniti specifici del settore. Content Understanding include analizzatori predefiniti progettati per scenari specifici del settore, tra cui preparazione fiscale, elaborazione dei documenti di approvvigionamento, analisi del contratto, analisi dei call center, analisi dei media e molto altro ancora.

Casi d'uso di Content Understanding

  • Elaborazione intelligente dei documenti (IDP). Content Understanding consente l'elaborazione intelligente dei documenti convertendo documenti non strutturati in dati strutturati con accuratezza elevata. I punteggi di attendibilità e le funzionalità di messa a terra garantiscono la qualità dei dati riducendo al minimo la revisione manuale e riducendo i costi operativi. Ad esempio, automatizzare l'elaborazione delle fatture, l'analisi del contratto e la gestione delle attestazioni estraendo e convalidando i campi da documenti complessi.

  • Applicazioni autonome. Content Understanding trasforma input di file disordinati e multimodali in input prevedibili e standardizzati. Fornisce rappresentazioni markdown pulite per il ragionamento e i flussi di lavoro delle conoscenze, garantendo chiarezza e contesto per le attività downstream. Quando sono necessari dati strutturati, fornisce campi chiave-valore allineati allo schema con punteggi di attendibilità e base, consentendo agli agenti di automatizzare le decisioni con accuratezza e verificabilità.

  • Generazione aumentata dalla ricerca e recupero delle informazioni (RAG). Content Understanding consente l'inserimento di contenuto di qualsiasi modalità in un indice di ricerca, con un ampio supporto per la descrizione e l'analisi della figura per rendere i dati più accessibili. Il servizio Content Understanding offre più analizzatori predefiniti ottimizzati per offrire gli output migliori per gli scenari di ricerca RAG.

  • Automazione del processo robotico (RPA). Content Understanding si integra perfettamente con i flussi di lavoro RPA fornendo dati strutturati estratti da vari tipi di contenuto. Questa funzionalità consente l'automazione end-to-end dei processi aziendali che richiedono la comprensione del contenuto, ad esempio l'elaborazione degli ordini, l'onboarding dei clienti e i flussi di lavoro di conformità alle normative.

  • Analisi e creazione di report: gli output dei campi estratti di Content Understanding migliorano l'analisi e la creazione di report, consentendo alle aziende di ottenere informazioni dettagliate preziose, eseguire analisi più approfondite e prendere decisioni informate in base a report accurati.

  • Ottimizzare il flusso di lavoro tramite la classificazione: la funzionalità di classificazione di Content Understanding consente di classificare prima i documenti, prima di instradarli all'analizzatore associato per l'estrazione.

Applicazioni specifiche del settore

Alcune applicazioni comuni specifiche del settore per Content Understanding includono:

Applicazione Descrizione
Automazione fiscale Le società di preparazione fiscale possono usare Content Understanding per generare una visualizzazione unificata delle informazioni da vari documenti e creare dichiarazioni fiscali complete.
Elaborazione dell'applicazione ipotecaria Analizzare la documentazione supplementare di supporto e le richieste ipotecarie per determinare se un potenziale acquirente di casa ha fornito tutta la documentazione necessaria per proteggere un mutuo.
Verifica del contratto di fattura Esaminare attentamente le fatture e i contratti contrattuali con i clienti. Applicare un processo di ragionamento in più passaggi per analizzare i dati. Assicurarsi che le conclusioni, ad esempio la convalida della coerenza tra la fattura e il contratto, siano accurate e approfondite.
Inserimento di generazione aumentata dal recupero (RAG) Le organizzazioni possono migliorare i flussi di lavoro RAG estraendo informazioni complete dai documenti che altrimenti verrebbero perse. Le descrizioni delle figure acquisiscono informazioni da grafici, diagrammi e visualizzazioni, rendendole disponibili per la ricerca. L'analisi del layout mantiene la struttura del documento, incluse tabelle, sezioni e gerarchie. Il rilevamento delle annotazioni acquisisce note scritte a mano, sottolineature e cancellazioni.
Analisi post-chiamata Le aziende e i call center possono generare informazioni dettagliate dalle registrazioni delle chiamate per tenere traccia degli indicatori di prestazioni chiave (KPI), migliorare l'esperienza del prodotto, generare informazioni dettagliate aziendali, creare esperienze dei clienti differenziate e rispondere alle query in modo più rapido e accurato.
Gestione degli asset multimediali I fornitori di software e multimediali possono usare Content Understanding per estrarre informazioni più avanzate e mirate dai video per le soluzioni di gestione degli asset multimediali.
Supporto clienti avanzato Le aziende con canali di supporto possono usare Content Understanding per la ricerca RAG per migliorare la qualità delle risposte in base ai dati di problemi e feedback precedenti dei clienti.

Componenti chiave di Content Understanding

Il framework Content Understanding elabora contenuti non strutturati attraverso più fasi, trasformando gli input in output strutturati e interattivi. La tabella seguente descrive ogni componente da sinistra a destra, come illustrato nel diagramma:

Diagramma che mostra il framework Content Understanding con input che passano attraverso gli analizzatori per l'output strutturato.

Componente Descrizione
Ingressi Contenuto di origine elaborato da Content Understanding. Supporta più modalità, tra cui Documenti, Immagini, Video e Audio. Altre informazioni sui tipi di file di input.
Analyzer Componente principale che definisce la modalità di elaborazione del contenuto. Configura le impostazioni di estrazione del contenuto, lo schema di estrazione dei campi e le distribuzioni del modello. Dopo la configurazione, l'analizzatore applica in modo coerente queste impostazioni a tutti i dati in ingresso. Content Understanding offre analizzatori predefiniti per scenari comuni e supporta analizzatori personalizzati personalizzati in base alle proprie esigenze. Altre informazioni su analizzatori, analizzatori predefiniti e analizzatori personalizzati.
Estrazione del contenuto Trasforma l'input non strutturato in testo normalizzato, strutturato e metadati. Estrae il testo usando il riconoscimento ottico dei caratteri (OCR), identifica i segni di selezione e i codici a barre, rileva le formule e riconosce elementi di layout come paragrafi, sezioni e tabelle. Per audio e video, trascrive il parlato e identifica gli elementi visivi chiave. Altre informazioni sull'estrazione del contenuto.
Segmentazione Divide documenti o video in sezioni logiche per l'elaborazione mirata. Configurato usando la enableSegment proprietà nello schema dell'analizzatore. Consente di suddividere il contenuto in blocchi significativi, ad esempio suddividendo un documento in base al tipo di documento o dividendo un video in scene. Altre informazioni sulla segmentazione e la classificazione.
Estrazione di campi Genera coppie chiave-valore strutturate in base allo schema definito. Vedere Limiti del servizio per i tipi di campo supportati. I campi possono essere generati tramite tre metodi:

• Estrarre direttamente i valori visualizzati nel contenuto di input (supportato solo per i documenti), ad esempio le date delle ricevute o i dettagli dell'articolo dalle fatture.

• Classificare: classificare il contenuto da un set predefinito di categorie, ad esempio il sentiment di chiamata o il tipo di grafico, e instradarlo all'analizzatore corretto per l'analisi.

• Genera: genera valori liberamente dai dati di input, ad esempio riepilogando una conversazione audio o creando descrizioni della scena dai video.

Altre informazioni sull'estrazione dei campi.
Punteggi di attendibilità Fornisce stime di affidabilità da 0 a 1 per ogni valore di campo estratto. I punteggi elevati indicano un'estrazione accurata dei dati, consentendo l'elaborazione diretta nei flussi di lavoro di automazione. Abilitata usando l'impostazione estimateFieldSourceAndConfidence negli analizzatori di documenti. Altre informazioni sui punteggi di attendibilità.
Messa a terra Identifica le aree specifiche nel contenuto in cui ogni valore è stato estratto o generato. Il tracciamento all'origine consente agli utenti negli scenari di automazione di verificare rapidamente la correttezza dei valori dei campi tracciandoli all'origine nel contenuto sorgente. Abilitata usando l'impostazione estimateFieldSourceAndConfidence negli analizzatori di documenti. Ulteriori informazioni sulla messa a terra.
Contestualizzazione Il livello di contestualizzazione prepara il contesto per i modelli generativi e ne post-elabora l'output. Include la normalizzazione e la formattazione dell'output, il calcolo dell'ancoraggio della sorgente, il calcolo del punteggio di attendibilità e l'ingegnerizzazione del contesto per ottimizzare l'utilizzo del modello. Altre informazioni sulla contestualizzazione.
Modelli di fonderia I modelli di linguaggio su larga scala (LLM) di Foundry e i modelli di embedding che alimentano le funzionalità generative. Puoi utilizzare le tue distribuzioni di modelli generativi supportati e modelli di embedding del testo per esempi di addestramento. Content Understanding usa questi modelli per l'estrazione dei campi, l'analisi delle figure e altre funzionalità basate sull'intelligenza artificiale. Altre informazioni sui modelli e le distribuzioni.
Output strutturato Il risultato finale viene fornito nel formato scelto. Il contenuto può essere restituito come Markdown per scenari di ricerca e recupero o come JSON strutturato corrispondente allo schema definito per i flussi di lavoro di automazione e analisi.

Esperienze di comprensione del contenuto

Content Understanding è un servizio Foundry. Per usare Content Understanding, è necessario creare una risorsa Foundry Azure. Content Understanding Studio integra l'esperienza Foundry se sono necessarie funzionalità avanzate. Per una suddivisione più dettagliata di ogni servizio, vedere Confronto delle funzionalità: Informazioni sui contenuti in Foundry e Content Understanding Studio.

  • Content Understanding in Foundry (new) portal (presto disponibile): il portale Foundry NextGen consente di creare flussi di lavoro agenti avanzati e completi con lo strumento Content Understanding.
  • Content Understanding Studio: un'esperienza di esperienza utente complementare, Content Understanding Studio consente una transizione senza problemi se si passa da Document Intelligence. Offre un'esperienza ottimizzata per il miglioramento delle prestazioni dell'analizzatore, incluso il miglioramento degli analizzatori personalizzati tramite tecniche di etichettatura dei dati. Supporta anche la creazione di analizzatori personalizzati basati sulla classificazione.

Intelligenza artificiale responsabile

Content Understanding è progettato per proteggersi dall'elaborazione di contenuti dannosi, ad esempio violenza grafica e gore, discorso odioso e bullismo, sfruttamento, abuso e altro ancora. Il servizio usa l'infrastruttura Foundry standard, inclusa la Sicurezza dei contenuti di Azure AI, integrando i risultati di sicurezza dei contenuti nell'output di Content Understanding. Per altre informazioni e un elenco completo di contenuti non consentiti, vedere la nota sulla trasparenza e il codice di condotta.

Filtro dei contenuti e guardrail

Content Understanding visualizza i risultati del filtro contenuto direttamente dall'implementazione del modello Foundry utilizzata. Ogni distribuzione del modello Foundry ha un'istanza associata di Guardrails che valuta le richieste inviate al modello e i risultati restituiti. Quando l'istanza Guardrails contrassegna il contenuto, il risultato viene incluso nella risposta di analisi di Content Understanding come un content_filters array.

Per modificare il comportamento di filtro del contenuto per gli analizzatori, aggiornare l'istanza guardrails associata alla distribuzione del modello nel progetto di Azure AI Foundry. È possibile modificare le soglie per ogni categoria o passare dalla modalità di blocco alla modalità di annotazione. Per informazioni dettagliate, vedere Filtro del contenuto.

È possibile modificare i filtri di contenuto per modificare la gravità bloccata o annotata anziché bloccare il contenuto, offrendo la possibilità di gestire contenuto potenzialmente dannoso nel proprio flusso di lavoro.

Per altre informazioni sui tipi di filtro del contenuto, vedere Tipi di filtro del contenuto.

Importante

Funzionalità del riconoscimento facciale

Content Understanding offre funzionalità di descrizione del viso che possono generare descrizioni dettagliate dei visi nel contenuto video e immagine. Se abilitato, il modello generativo descrive gli attributi facciali, ad esempio i capelli facciali e l'espressione facciale, e possono identificare persone o celebrità di rilievo. Altre informazioni sulla descrizione del viso nell'elaborazione video.

Privacy e sicurezza dei dati

Esaminare i criteri di Microsoft sui dati dei clienti quando si usa il servizio Content Understanding. Per altre informazioni, visitare la pagina Dati, protezione e privacy .

Importante

Se si usano Microsoft prodotti o servizi per elaborare i dati biometrici, l'utente è responsabile di: (i) fornire comunicazioni agli interessati, incluso rispetto ai periodi di conservazione e alla distruzione; (ii) ottenere il consenso da parte degli interessati; e (iii) eliminando i dati biometrici, tutti in base alle esigenze e richiesti in base ai requisiti di protezione dei dati applicabili. Per informazioni correlate, vedere i Dati e la privacy di Face.

Inizia

Usare queste guide introduttive per iniziare:

  • Last updated on