Afbeeldingsclassificatie in Azure

azure-ai-foundry-sdk
Azure-blobopslag
Azure Cosmos DB
Azure Event Grid
Azure Functions

ideeën voor oplossing

In dit artikel wordt een oplossingsidee beschreven. Uw cloudarchitect kan deze richtlijnen gebruiken om de belangrijkste onderdelen te visualiseren voor een typische implementatie van deze architectuur. Gebruik dit artikel als uitgangspunt om een goed ontworpen oplossing te ontwerpen die overeenkomt met de specifieke vereisten van uw workload.

Met behulp van Azure services zoals Azure AI Content Understanding en Azure Functions kunt u afbeeldingsclassificatie en metagegevensextractie toevoegen aan een web- of mobiele toepassing zonder servers te beheren of uw eigen modellen te trainen. Dit oplossingsidee is gericht op afbeeldingsclassificatie en taggen. Als u andere AI-behoeften hebt, raadpleegt u de bredere Foundry Tools en Microsoft Foundry catalogi.

Architectuur

Diagram van een architectuur die wordt gebruikt voor afbeeldingsclassificatietaken.

Download een Visio-bestand van dit oplossingsidee.

Gegevensstroom

In dit scenario worden de back-endonderdelen van een web- of mobiele toepassing behandeld. Gegevens stromen als volgt door het scenario:

  1. Nieuwe bestanden (afbeeldingsuploads) die zijn toegevoegd aan Blob Storage een gebeurtenis activeren in Azure Event Grid. Het uploaden wordt ingedeeld door een web- of mobiele toepassing of afbeeldingen worden rechtstreeks geüpload naar Blob Storage.
  2. Event Grid verzendt een melding waarmee een Azure functie wordt geactiveerd.
  3. De functie roept Content Understanding aan om de zojuist geüploade afbeelding te analyseren op basis van een gedefinieerd analyseschema. Inhoudsbegrip heeft toegang tot de afbeelding via een tijdgebonden SAS-URL of een gelijkwaardig tijdelijk toegangstoken, dat door de functie in het verzoek wordt doorgegeven en waarbij leesrechten met de minste privileges voor alleen de doel-blob worden ingesteld.
  4. De functie behoudt de gestructureerde uitvoer die Content Understanding retourneert, samen met metagegevens van afbeeldingen, in Azure Cosmos DB voor NoSQL.
  5. De web- of mobiele front-end verbruikt de resultaten. Deze gegevensstroom retourneert de classificatie-uitvoer en metagegevens; de oorspronkelijke afbeeldingsbytes worden niet geretourneerd.

Onderdelen

  • Content Understanding is een Microsoft Foundry-functie die gebruikmaakt van generatieve AI om door de gebruiker gedefinieerde gestructureerde uitvoer te extraheren uit documenten, afbeeldingen, video en audio. In deze architectuur analyseert het elke geüploade afbeelding op basis van een analyseschema dat de categorieën, kenmerken en labels definieert die u wilt retourneren (bijvoorbeeld producttype, kleur, defectklasse). De uitvoer is JSON die rechtstreeks wordt toegewezen aan het gegevensmodel van uw toepassing.

  • Azure Functions is een serverloos rekenplatform. In deze architectuur biedt Azure Functions de back-end-API en de laag voor gebeurtenisverwerking voor geüploade afbeeldingen. De functie organiseert de werkstroom. Het roept Content Understanding aan, verwerkt het antwoord en schrijft het resultaat naar de database. Deze architectuur maakt gebruik van het Flex Consumption-plan ter ondersteuning van de integratie van virtuele netwerken, de keuze van het geheugen van exemplaren en het snel schalen.

  • Azure Event Grid is een beheerde service voor gebeurtenisroutering die gebruikmaakt van een model voor publiceren/abonneren. In deze architectuur verzendt een Event Grid-systeemonderwerp in het opslagaccount een Microsoft.Storage.BlobCreated gebeurtenis wanneer een nieuwe afbeelding wordt geüpload en aan de functie wordt geleverd.

  • Azure Blob Storage is een objectarchief voor ongestructureerde gegevens. In deze architectuur worden alle geüploade afbeeldingen en eventuele statische assets opgeslagen die door de webtoepassing worden gebruikt. Blob Storage is de bron van waarheid voor binnenkomende beelden.

  • Azure Cosmos DB voor NoSQL is een beheerde NoSQL-database. In deze architectuur worden de metagegevens voor elke afbeelding opgeslagen, inclusief de gestructureerde uitvoer die Content Understanding retourneert.

Alternatieven

  • Azure Machine Learning AutoML voor afbeeldingen traint aangepaste afbeeldingsclassificatie- en objectdetectiemodellen van uw gelabelde gegevens met behulp van klassieke machine learning-technieken. Kies AutoML wanneer u een gelabelde gegevensset hebt en een deterministisch, implementeerbaar model nodig hebt voor smalle domeinen (bijvoorbeeld productiedefectdetectie of medische imaging) waarbij generatieve benaderingen niet passen. AutoML is het pad dat Microsoft aanbeveelt voor klanten die migreren vanuit Custom Vision wanneer ze een klassiek ML-model willen behouden.

  • Met de vision-enabled modellen van Microsoft Foundry kunt u multimodale modellen (GPT-4.1, GPT-4o en Phi-4 multimodal) rechtstreeks oproepen of aanpassen. Kies deze route wanneer u gedetailleerde controle over de prompt en het model nodig hebt, uw eigen gegevens wilt fine-tunen, of visuele vraag-antwoorden en beeldgebaseerde chat in plaats van gestructureerde extractie nodig hebt.

  • Azure AI Zoeken indexeert de metagegevens, zodat gebruikers afbeeldingen kunnen opvragen en filteren op tag, bijschrift of andere kenmerken. De AI-verrijkingsfunctionaliteit kan visuele en generatieve AI-diensten aanroepen en de resultaten rechtstreeks naar een zoekindex schrijven zonder een afzonderlijke functie.

  • Azure Logic Apps is geschikt wanneer u geen realtime reactie nodig hebt om te uploaden. Een werkstroom die wordt uitgevoerd op een recurrerende of schuifvenster-trigger, kan naar nieuwe blobs zoeken en Content Understanding in batch aanroepen.

  • Azure Document Intelligence extraheert afbeeldingen die zijn ingesloten in documenten via het layoutmodel, zodat u downstreamclassificatie kunt uitvoeren op deze ingesloten afbeeldingen. Gebruik aangepaste classificatiemodellen wanneer invoerbestanden meerdere documenttypen bevatten en u moet elk model identificeren voordat u deze verder verwerkt.

Scenario-details

Dit scenario is van toepassing op bedrijven die afbeeldingen op schaal verwerken en gestructureerde metagegevens, zoals tags, bijschriften of categorielabels, aan elke afbeelding willen koppelen zonder dat ze hun eigen modellen hoeven te trainen en te gebruiken.

Typische toepassingen zijn het classificeren van afbeeldingen op een modesite, het analyseren van foto's voor verzekeringsclaims en het extraheren van context uit gameschermafbeeldingen. Voor het bouwen van dit interne systeem is traditioneel expertise vereist in computer vision, trainingsgegevens en modellevenscyclusbeheer. De architectuur in dit artikel vervangt die werken met beheerde Azure-services.

Mogelijke gebruiksvoorbeelden

Deze oplossing is van toepassing op detailhandel, e-commerce, gaming, financiën en verzekeringen. Veelvoorkomende gebruiksvoorbeelden zijn:

  • Afbeeldingen taggen op een retail- of modesite. Verkopers uploaden productfoto's. Content Understanding retourneert de tags, bijschriften en kenmerken die u in het analyseschema definieert. Het platform gebruikt ze om velden automatisch in te vullen, visuele zoekopdrachten te stimuleren en handmatige tagbewerkingen te verminderen.

  • Producten categoriseren in een e-commercecatalogus. Een Content Understanding Analyzer wijst categorie- en subcategoriemetagegevens toe (bijvoorbeeld schoeisel aan loopschoen) en visuele kenmerken zoals kleur en materiaal. Kopers krijgen nauwkeuriger zoeken en filteren, en verkopers besteden minder tijd aan het corrigeren van categorieën.

  • Telemetrie classificeren vanuit gameschermafbeeldingen. Streamingplatforms classificeren een stream verkeerd wanneer een maker vergeet de titel bij te werken na het overschakelen van games. Een functie die periodieke schermopnamen classificeert, kan de wijziging detecteren en de metagegevens van de stream bijwerken. Gebruik AutoML voor afbeeldingen om een deterministische classificatie te trainen voor smalle domeinen waarbij generatieve classificatie onderperformeert.

  • Foto's van verzekeringsclaims routeren. Inhoudsanalyse identificeert voertuigschade, schade door natuurrampen of het type vastgoed van verzekeringsfoto's. Met de metagegevens wordt de claim doorgestuurd naar de juiste wachtrij voor de schadebehandelaar en wordt de triagetijd verkort.

Considerations

Deze overwegingen implementeren de pijlers van het Azure Well-Architected Framework, een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren.

Security

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Ontwerpcontrolelijst voor beveiliging voor meer informatie.

  • Gebruik beheerde identiteiten voor de functie-app om te verifiëren bij Blob Storage, Azure Cosmos DB en de Microsoft Foundry-resource die als host fungeert voor Content Understanding. Vermijd het opslaan van verbindingsreeksen of API-sleutels in app-instellingen.
  • Beperk de Foundry-resource en Cosmos DB tot privé-eindpunten en schakel openbare netwerktoegang uit wanneer de workload in een virtueel netwerk wordt uitgevoerd. Het Flex Consumption-abonnement ondersteunt integratie van virtuele netwerken.
  • Valideer geüploade afbeeldingen voordat u de vision-service aanroept. Dwing inhoudstype- en groottelimieten af op de uploadgrens, scan op malware en sla uploads op in een container die openbare gebruikers niet rechtstreeks kunnen lezen.
  • Deze architectuur is alleen geschikt voor afbeeldingen die u geschikt acht om te verwerken met een cloudoplossing, en lokale/offline beeldverwerking wordt niet ondersteund.

Kostenoptimalisatie

Kostenoptimalisatie richt zich op manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.

  • Beperk het analyseschema in Inhoudsbegrip tot de velden die de toepassing daadwerkelijk verbruikt. Elk extra veld verhoogt het tokengebruik en de kosten per aanroep. Bekijk Microsoft Foundry-prijzen voor de huidige tarieven.
  • Gebruik voor Azure Functions het Flexibele Consumptie-abonnement voor onregelmatige gebeurtenisgestuurde workloads. Het wordt geschaald naar nul en factureert per seconde op actieve exemplaren.
  • Evalueer voor Azure Cosmos DB serverless of autoscale doorvoer wanneer het verkeer ongelijkmatig is. Serverloos is geschikt voor workloads met weinig verkeer en dev/test; automatische schaalaanpassing past bij de productie met variabele belasting.

Operationele uitmuntendheid

Operational Excellence behandelt de operationele processen die een toepassing implementeren en deze in productie houden. Voor meer informatie, zie Controlelijst voor ontwerpevaluatie voor Operational Excellence.

  • Verzend diagnostische gegevens van Azure Functions, Event Grid en Microsoft Foundry naar een gedeelde Log Analytics werkruimte en gebruik Application Insights voor gedistribueerde tracering in de upload-naar-resultaatstroom.
  • Configureer een dead-letter-bestemming van Event Grid, zodat gebeurtenissen die de functie niet kan verwerken, in een afzonderlijke blobcontainer terechtkomen voor opnieuw afspelen.
  • Versie Content Understanding Analyzer-schema's als code en implementeer deze via dezelfde pijplijn die de functie implementeert. Schemawijzigingen behandelen als belangrijke wijzigingen voor downstreamgebruikers.

Contributors

Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.

Hoofdauteurs:

Andere Inzenders:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen

Zie voor begeleide leertrajecten: