Tekst extraheren uit objecten met Power Automate en AI Builder

Dit artikel bevat een oplossing voor het extraheren van tekst uit afbeeldingen, zodat deze kan worden geïndexeerd en opgehaald in SharePoint. Met behulp van AI Builder en Azure Document Intelligence in Foundry Tools kunt u een Power Automate-werkstroom configureren om een getraind model te gebruiken om tekst uit een afbeelding te extraheren. Zodra u een werkstroom hebt geconfigureerd, kunt u snel documenten zoeken naar zinvolle tekst die is ingesloten in vormen en objecten.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Werkproces

1. Een objectdetectiemodel wordt getraind in AI Builder om objecten te herkennen die een gebruiker opgeeft.
2. Een nieuw document komt in een SharePoint-documentenbibliotheek, OneDrive of Teams.
3. De aankomst van het document activeert een Power Automate-gebeurtenis. Die gebeurtenis:
   1. Hiermee wordt het AI Builder-model uitgevoerd. AI Builder retourneert een JSON-bestand dat de pixelcoördinaten van opgegeven objecten bevat.
   2. Hiermee wordt het document verzonden naar Document Intelligence voor een volledige OCR-scan (Optical Character Recognition). Document Intelligence retourneert een JSON-bestand dat gescande tekst- en pixelcoördinaten van de tekst bevat.
   3. Voert een functie uit in Azure Functions. De functie analyseert de pixelcoördinaten in de AI Builder- en Document Intelligence-uitvoerbestanden. Als gedetecteerde objecten elkaar kruisen met gescande tekst, retourneert de functie de overeenkomende gegevens in een JSON-bestand.
   4. Hiermee voert u de metagegevens of de tekst van gedetecteerde objecten in een documentbibliotheek in.
4. De metagegevens worden vastgelegd in een SharePoint-zoekindex.
5. Gebruikers zoeken naar de metagegevens met behulp van PnP Modern Search-webonderdelen.

Onderdelen

• AI Builder is een Microsoft Power Platform-functie. Gebruik AI Builder om modellen te trainen om objecten in afbeeldingen te herkennen. AI Builder biedt ook vooraf gedefinieerde modellen voor objectdetectie.

• Document Intelligence Studio maakt gebruik van machine learning-modellen voor het extraheren en analyseren van formuliervelden, tekst en tabellen uit uw documenten.

  Opmerking

  Voordat u Document Intelligence Studio gebruikt, moet u evalueren of uw scenario werkt vanuit Microsoft Foundry. De mogelijkheden in Document Intelligence Studio worden gemigreerd naar Foundry. Zie De juiste studio-ervaring kiezen om u te helpen bij het selecteren van een portalervaring.

• Power Automate maakt deel uit van de intuïtieve oplossingen zonder code of low-code binnen Microsoft Power Platform. Power Automate is een onlinewerkstroomservice waarmee acties in apps en services worden geautomatiseerd.

• Azure Functions is een serverloos rekenplatform op basis van gebeurtenissen. Azure Functions wordt op aanvraag en op schaal uitgevoerd in de cloud.

• PnP Modern Search-oplossing is een set SharePoint in moderne webonderdelen van Microsoft 365. Met behulp van deze hulpprogramma's kunt u zeer flexibele en persoonlijke ervaringen op basis van zoekopdrachten maken.

Alternatieven

• Document Intelligence kan een volledige OCR-scan van documenten uitvoeren, met de resulterende metagegevens die zijn opgeslagen in SharePoint.
• SharePoint kan OCR-scans uitvoeren op documenten en inhoudsuitvoer toevoegen aan de index voor het ophalen. Gebruik zoektechnieken om belangrijke informatie in documenten te vinden.
• Als u een hoge frequentie van documenten wilt verwerken, kunt u Overwegen om Azure Logic Apps te gebruiken om de onderdelen te configureren. Azure Logic Apps helpt verbruikslimieten te vermijden, voornamelijk door de integratie met een toegewezen werkstroomengine en de mogelijkheid om te worden uitgevoerd onder verschillende prijscategorieën en is rendabel. Zie Azure Logic Apps voor meer informatie.

Scenario-details

Schematische en industriële diagrammen bevatten vaak objecten die tekst bevatten. Het handmatig scannen van documenten op relevante tekst kan arbeidsintensief en tijdrovend zijn.

Potentiële gebruikscases

Gebruiksvoorbeelden zijn onder andere:

• Gecompliceerde technische schematische diagrammen die verschillende typen objecten bevatten. Met deze oplossing kunt u snel zoeken naar specifieke onderdelen in een diagram. Toegang tot ingesloten tekst in objecten is handig voor onderzoeken, tekorten blootleggen of het zoeken naar terugroepacties en storingsberichten.
• Industriële diagrammen waarin de onderdelen in een productieassembly worden weergegeven. Deze oplossing identificeert onmiddellijk pompen, kleppen, geautomatiseerde schakelaars en andere onderdelen. Het identificeren van onderdelen helpt bij preventief onderhoud, het isoleren van gevaarlijke onderdelen en het vergroten van de zichtbaarheid van risicobeheer in uw organisatie.

Bijdragers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

• Steve Pucelik | Sr. Product Manager

Volgende stappen

• Inzicht in de typen documenten die geschikt zijn voor deze oplossing. Typische documenten zijn schematische diagrammen, productiebeheerprocessen en schema's die veel vormen bevatten die moeten worden geïsoleerd. Zie Aangepaste modellen voor Document Intelligence voor meer informatie.
• Raak vertrouwd met de mogelijkheden die AI Builder biedt. Zie het overzicht van AI Builder in Power Automate voor meer informatie.
• Definieer een informatiearchitectuur die uw metagegevens kan ontvangen en verwerken. Zie vaardighedenset voor Azure AI Searchvoor meer informatie.
• Zie Tekst extraheren uit objecten voor meer informatie over hoe de oplossing werkt en of deze geschikt is voor uw use cases.