DocumentTokenChunker Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Elabora un documento tokenzzandone il contenuto e dividendolo in blocchi sovrapposti di token.
public ref class DocumentTokenChunker sealed : Microsoft::Extensions::DataIngestion::IngestionChunker<System::String ^>public sealed class DocumentTokenChunker : Microsoft.Extensions.DataIngestion.IngestionChunker<string>type DocumentTokenChunker = class
inherit IngestionChunker<string>Public NotInheritable Class DocumentTokenChunker
Inherits IngestionChunker(Of String)- Ereditarietà
Commenti
Questa classe usa un tokenizer per convertire il contenuto del documento in token e quindi suddivide i token in blocchi di una dimensione specificata, con una sovrapposizione configurabile tra blocchi consecutivi.
Si noti che le tabelle possono essere suddivise a metà riga.
Costruttori
| Nome | Descrizione |
|---|---|
| DocumentTokenChunker(IngestionChunkerOptions) |
Inizializza una nuova istanza della DocumentTokenChunker classe con le opzioni specificate. |
Metodi
| Nome | Descrizione |
|---|---|
| ProcessAsync(IngestionDocument, CancellationToken) |
Suddivide un documento in blocchi in modo asincrono. |
