Modelli personalizzati di Document Intelligence

Questo contenuto si applica a:v4.0 (GA) | Versioni precedenti:v3.1 (GA)v3.0 (ritiro)v2.1 (ritiro)

Questo contenuto si applica a:v3.1 (GA) | Versione più recente:v4.0 (GA) | Versioni precedenti:v3.0v2.1

Questo contenuto si applica a:v3.0 (in dismissione) | Versioni più recenti:v4.0 (GA)v3.1 | Versione precedente:v2.1 (in dismissione)

Questo contenuto si applica a:v2.1 | Versione più recente:v4.0 (GA)

Tipi di modello di documento personalizzati

I modelli di documento personalizzati possono essere uno dei due tipi, modello personalizzato o modulo personalizzato e modelli di documento neurali o personalizzati. Il processo di etichettatura e training per entrambi i modelli è identico, ma i modelli differiscono come segue:

Modelli di estrazione personalizzati

Per creare un modello di estrazione personalizzato, etichettare un set di dati di documenti con i valori da estrarre ed eseguire il training del modello nel set di dati etichettato. Per iniziare, sono necessari solo cinque esempi dello stesso tipo di modulo o documento.

Modello neurale personalizzato

Il modello neurale personalizzato (documento personalizzato) usa modelli di Deep Learning e il modello di base sottoposto a training su un'ampia raccolta di documenti. Questo modello viene quindi ottimizzato o adattato ai dati quando si esegue il training del modello con un set di dati etichettato. I modelli neurali personalizzati supportano l'estrazione di campi dati chiave da documenti strutturati, semistrutturati e non strutturati. Quando si sceglie tra i due tipi di modello, iniziare con un modello neurale per determinare se soddisfa le esigenze funzionali. Con V4.0, il modello neurale personalizzato supporta il rilevamento delle firme, l'attendibilità delle tabelle e i campi sovrapposti. Per altre informazioni sui modelli di documento personalizzati, vedere Modelli neurali .

Modello di template personalizzato

Il modello personalizzato o il modello di modulo personalizzato si basa su un modello visivo coerente per estrarre i dati etichettati. Le variazioni nella struttura visiva dei documenti influiscono sull'accuratezza del modello. Moduli strutturati, ad esempio questionari o applicazioni, sono esempi di modelli visivi coerenti.

Il set di training è costituito da documenti strutturati in cui la formattazione e il layout sono statici e costanti da un'istanza del documento alla successiva. I modelli di modello personalizzati supportano coppie chiave-valore, segni di selezione, tabelle, campi di firma e aree. Modelli template possono essere addestrati su documenti in qualsiasi lingua supportata. Per altre informazioni, vedereModelli di modello personalizzati.

Se il linguaggio dei documenti e degli scenari di estrazione supporta modelli neurali personalizzati, è consigliabile usare modelli neurali personalizzati invece di modelli standard per un'accuratezza più elevata.

Requisiti di input

• Per ottenere risultati ottimali, fornire una foto chiara o un'analisi di alta qualità per ogni documento.

• Formati di file supportati:

  Modello	PDF	Immagine: jpeg/jpg, png, bmp, tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Leggere	✔	✔	✔
  Struttura	✔	✔	✔
  Documento generale	✔	✔
  Preassemblato	✔	✔
  Estrazione personalizzata	✔	✔
  Classificazione personalizzata	✔	✔	✔

  ✱ Microsoft Office file non sono attualmente supportati per altri modelli o versioni.

• Per PDF e TIFF, è possibile elaborare fino a 2.000 pagine (con una sottoscrizione di livello gratuito, vengono elaborate solo le prime due pagine).

• Le dimensioni del file per l'analisi dei documenti sono 500 MB per il livello A pagamento (S0) e 4 MB per il livello gratuito (F0).

• Le dimensioni dell'immagine devono essere comprese tra 50 x 50 pixel e 10.000 pixel x 10.000 pixel.

• Se i PDF sono bloccati da password, è necessario rimuovere il blocco prima dell'invio.

• L'altezza minima del testo da estrarre è di 12 pixel per un'immagine da 1024 x 768 pixel. Questa dimensione corrisponde al testo di circa 8un punto a 150 punti per pollice.

• Per l'addestramento di modelli personalizzati, il numero massimo di pagine per i dati di addestramento è 500 per il modello personalizzato e 50.000 per il modello neurale personalizzato.

• Per il training del modello di estrazione personalizzato, la dimensione totale dei dati di training è 50 MB per il modello template e 1 GB per il modello neurale.

• Per il training del modello di classificazione personalizzato, le dimensioni totali dei dati di training sono 1 GB pari a un massimo di 10.000 pagine.

Dati di training ottimali

I dati di input di training sono la base di qualsiasi modello di Machine Learning. Determina la qualità, l'accuratezza e le prestazioni del modello. Di conseguenza, è fondamentale creare i migliori dati di input di training possibili per il progetto di Intelligenza Documentale. Quando si usa il modello personalizzato di Document Intelligence, si forniscono dati di training personalizzati. Ecco alcuni suggerimenti per eseguire il training efficace dei modelli:

• Usare pdf basati su testo anziché pdf basati su immagini, quando possibile. Un modo per identificare un PDF basato su immagine consiste nel provare a selezionare testo specifico nel documento. Se è possibile selezionare solo l'intera immagine del testo, il documento è basato su immagine, non basato su testo.

• Organizzare i documenti di training usando una sottocartella per ogni formato (JPEG/JPG, PNG, BMP, PDF o TIFF).

• Utilizzare moduli con tutti i campi disponibili completati.

• Usare moduli con valori diversi in ogni campo.

• Usare un set di dati più grande (più di cinque documenti di training) se le immagini sono di bassa qualità.

• Determinare se è necessario usare un singolo modello o più modelli composti in un singolo modello.

• Prendere in considerazione la segmentazione del set di dati in cartelle, in cui ogni cartella è un modello univoco. Eseguire il training di un modello per cartella e comporre i modelli risultanti in un singolo endpoint. L'accuratezza del modello può diminuire quando si hanno formati diversi analizzati con un singolo modello.

• Valutare la possibilità di segmentare il set di dati per eseguire il training di più modelli se il modulo presenta variazioni con formati e interruzioni di pagina. I moduli personalizzati si basano su un modello di oggetto visivo coerente.

• Assicurarsi di disporre di un set di dati bilanciato tenendo conto dei formati, dei tipi di documento e della struttura.

Creare la modalità

** L'operazione build custom model aggiunge il supporto per il template e i modelli neurali personalizzati. Le versioni precedenti dell'API REST e delle librerie client supportano solo una singola modalità di compilazione ora nota come modalità modello .

• I modelli di modello accettano solo documenti con la stessa struttura di pagina di base, ovvero un aspetto visivo uniforme, o la stessa posizione relativa degli elementi all'interno del documento.

• I modelli neurali supportano documenti con le stesse informazioni, ma strutture di pagina diverse. Esempi di questi documenti includono i moduli W2 degli Stati Uniti, che condividono le stesse informazioni, ma variano nell'aspetto tra le diverse aziende.

Questa tabella fornisce collegamenti ai riferimenti e agli esempi di codice dell'SDK del linguaggio di programmazione in modalità di compilazione in GitHub:

Confrontare le funzionalità del modello

La tabella seguente confronta i modelli personalizzati e le funzionalità neurali personalizzate:

*-Il tempo di training predefinito è di 30 minuti, abilitare il training a pagamento per eseguire il training di un modello più lungo di 30 minuti. Controllare altri dettagli nel supporto per il training per neurali personalizzati

Modello di classificazione personalizzato

La classificazione dei documenti è un nuovo scenario supportato da Document Intelligence con l'API 2023-07-31 (versione 3.1 GA). L'API del classificatore di documenti supporta scenari di classificazione e suddivisione. Addestrare un modello di classificazione per identificare i diversi tipi di documenti supportati dall'applicazione. Il file di input per il modello di classificazione può contenere più documenti e classifica ogni documento all'interno di un intervallo di pagine associato. Per altre informazioni, vedere Modelli di classificazione personalizzati.

Strumenti per modelli personalizzati

I modelli di Document Intelligence v3.1 e versioni successive supportano gli strumenti, le applicazioni e le librerie, i programmi e le librerie seguenti:

Ciclo di vita del modello personalizzato

Il ciclo di vita di un modello personalizzato dipende dalla versione dell'API usata per eseguirne il training. Se la versione dell'API è una versione disponibile a livello generale, il modello personalizzato ha lo stesso ciclo di vita di tale versione. Il modello personalizzato non è disponibile per l'inferenza quando la versione dell'API è deprecata. Se la versione dell'API è una versione di anteprima, il modello personalizzato ha lo stesso ciclo di vita della versione di anteprima dell'API.

Document Intelligence v2.1 supporta gli strumenti, le applicazioni e le librerie seguenti:

Strumento di etichettatura di esempio

• Lo strumento di etichettatura degli esempi di analisi dei documenti è uno strumento open source che consente di testare le funzionalità più recenti delle funzionalità di Riconoscimento ottico dei caratteri (OCR, Document Intelligence And Optical Character Recognition).

• Provare la guida rapida allo strumento di etichettatura di campioni per iniziare a creare e usare un modello personalizzato.

Document Intelligence Studio

1. Nella home page di Document Intelligence Studio selezionare Modelli di estrazione personalizzati.

2. In Progetti personali selezionare Crea un progetto.

3. Completare i campi dei dettagli del progetto.

4. Configurare la risorsa del servizio aggiungendo l'account di archiviazione e il contenitore BLOB per connettere l'origine dati di training.

5. Esaminare e creare il progetto.

6. Aggiungere i documenti di esempio per etichettare, compilare e testare il modello personalizzato.

Per una procedura dettagliata per creare il primo modello di estrazione personalizzato, vedereCome creare un modello di estrazione personalizzato.

Riepilogo dell'estrazione di modelli personalizzati

Questa tabella confronta le aree di estrazione dati supportate:

Simboli di tabella:
✔ — Supportato
**n/a- Attualmente non disponibile;
*-Si comporta in modo diverso a seconda del modello. Con i modelli a template, i dati sintetici vengono generati in fase di addestramento. Con i modelli neurali, viene selezionato il testo esistente riconosciuto nell'area.

• Provare a elaborare moduli e documenti personalizzati con lo strumento di etichettatura di esempio di Document Intelligence.

• Completare una guida introduttiva su Document Intelligence e iniziare a creare un'app per l'elaborazione di documenti nel linguaggio di sviluppo che preferisci.

• Provare a elaborare moduli e documenti personalizzati con Document Intelligence Studio.

• Completare una guida introduttiva su Document Intelligence e iniziare a creare un'app per l'elaborazione di documenti nel linguaggio di sviluppo che preferisci.