Een visuele gegevensvoorbereiding maken in Lakeflow Designer

Met Lakeflow Designer kunt u werkstromen voor gegevenstransformatie bouwen op een visuele canvas waarop u kunt slepen en neerzetten. Op deze pagina wordt uitgelegd hoe u een visuele gegevensvoorbereiding maakt, van het toevoegen van een gegevensbron en het koppelen van operators aan het bekijken van resultaten en het schrijven naar Unity Catalog.

Een Visuele gegevensvoorbereiding maken

1. Vereisten verifiëren
2. Een visuele gegevensvoorbereiding maken
3. Een gegevensbron toevoegen
4. Operators toevoegen en configureren
5. Operators verbinden
6. Resultaten voorvertonen
7. Resultaten schrijven naar Unity Catalog
8. Plannen of uitvoeren in de productieomgeving

Requirements

Als u Lakeflow Designer wilt gebruiken, hebt u het volgende nodig:

• Een Azure Databricks-werkruimte waarvoor Unity Catalog is ingeschakeld.
• CAN USE machtiging voor ten minste één rekenresource (serverloos of alle doeleinden).
• Azure Databricks AI Ondersteunende functies ingeschakeld. Als een model niet beschikbaar is in uw regio, moet u mogelijk ook cross-geo-verwerking inschakelen.

Maak een nieuwe visuele gegevensvoorbereiding

Als u een nieuwe visuele gegevensvoorbereiding wilt maken, klikt u op Nieuw in de zijbalk en selecteer Visuele gegevensvoorbereiding.

Designer wordt geopend met een welkomstscherm waarin u een gegevensbron kunt toevoegen of een voorbeeld van visuele gegevensvoorbereiding kunt verkennen.

Een gegevensbron toevoegen

Elke Designer-werkstroom begint met een of meer gegevensbronnen. De bronoperator vertegenwoordigt een gegevensbron op het canvas.

Een gegevensbron toevoegen:

1. Voeg een bronoperator toe. Klik in het welkomstscherm op Bronoperator selecteren. Open het operatormenu op het canvas en selecteer Bron.
2. Kies in het deelvenster Bronconfiguratie hoe u uw gegevens wilt ophalen. U kunt bladeren naar een bestaande tabel, een lokaal CSV- of Excel-bestand uploaden, een tabel maken op basis van een bestand of importeren vanuit Google Drive of SharePoint.
3. Selecteer of configureer uw gegevensbron. De bronoperator wordt weergegeven op het canvas.

U kunt ook een CSV- of Excel-bestand rechtstreeks naar het canvas slepen en neerzetten om snel een bronoperator te maken.

Als u de bron later wilt wijzigen, opent u de bronoperator en klikt u op Een nieuwe gegevensbron selecteren. Als u de bron wijzigt, wordt de uitvoercache voor alle downstreamoperators ongeldig.

Zie Gegevens opnemen in Lakeflow Designer voor meer informatie over elke opnameoptie.

Operators toevoegen en configureren

Als u een operator wilt toevoegen, opent u het operatormenu in het zijpaneel aan de linkerkant van het canvas. Klik op een operator om die toe te voegen aan het canvas of sleep een operator vanuit het menu naar het canvas. U kunt ook op de + knop naast een bestaande operator klikken om een nieuwe operator toe te voegen met een automatische verbinding.

Als u een operator wilt configureren, dubbelklikt u erop of houdt u de muisaanwijzer erop en klikt u op (Operator bewerken) om het configuratievenster te openen. Stel de opties voor dat operatortype in en klik vervolgens op Toepassen.

Voor meer details over elke beschikbare operator, zie Ingebouwde operators in Lakeflow Designer.

Operators verbinden

Als u twee operators wilt verbinden, klikt en sleept u van de uitvoergreep (de kleine cirkel aan de rechterkant van een operator) naar de invoergreep (de kleine cirkel aan de linkerkant van de volgende operator). Hiermee geeft u op dat gegevens van de eerste operator naar de tweede stromen. Gegevens stromen van links naar rechts via de Visual Gegevensvoorbereiding.

Sommige operators, zoals Join en Combine, accepteren meerdere invoerwaarden.

Genie Code gebruiken

Tijdens het bewerken in Lakeflow Designer kunt u op elk gewenst moment prompts voor Genie Code maken om u te helpen.

Wanneer u Genie Code gebruikt, bieden de volgende knoppen extra functionaliteit:

• : Hiermee uploadt u een afbeelding die u wilt gebruiken als onderdeel van de prompt.
• : Gebruik dit om objecten, zoals tabellen of bestanden, te noemen als onderdeel van de prompt.
• : hiermee start u een nieuwe chat-thread met een nieuwe agentcontext.
• : Hiermee opent u het zijpaneel voor gespreksgeschiedenis en een gedetailleerdere weergave van waar de agent mee bezig is.

Voorbeeld van resultaten

Selecteer een operator om de resultaten weer te geven in het uitvoervenster onder aan het scherm. Voor de meeste operatortypen staan de invoergegevens aan de linkerkant en bevinden de uitvoergegevens zich aan de rechterkant.

Operators worden standaard uitgevoerd op een voorbeeld van de gegevens van maximaal 1000 rijen. Als u wilt uitvoeren met de volledige gegevensset, klikt u op Voorbeeldgegevensset in het uitvoervenster en schakelt u over naar de volledige gegevensset.

Gegevensprofilering

In het uitvoervenster kunt u ervoor kiezen om details van de gegevens in uw uitvoer weer te geven. Kies in de rechterbovenhoek van het uitvoervenster het om de details van de selectie te openen. Selecteer een subset van uw gegevens om details over uw selectie weer te geven.

Resultaten schrijven naar Unity Catalog

Voeg een uitvoeroperator toe om uw resultaten naar een tabel in Unity Catalog te schrijven:

1. Open het operatormenu en selecteer Uitvoer of klik + naast de laatste operator en selecteer Uitvoer.
2. Verbind de uitvoergreep van uw laatste transformatie met de invoergreep van de uitvoeroperator als deze nog niet is verbonden.
3. Dubbelklik op de uitvoeroperator om het configuratievenster te openen.
4. Typ een tabelnaam en selecteer de uitvoerlocatie (catalogus en schema).
5. Klik op Uitvoeren .

Plannen of uitvoeren in de productie

U kunt uw werkstromen automatiseren door ze als taken te plannen.

• Rechtstreeks plannen: klik op de knop Planning in het bovenste menu om een geplande taak te maken voor uw visuele gegevensvoorbereiding.
• Toevoegen aan een job: Maak een Azure Databricks job en kies je Designer Visual gegevensvoorbereiding als taak. Hiermee kunt u die visuele gegevensvoorbereiding combineren met andere taken in een grotere pijplijn.

Aanvullende tips bij het werken op het canvas

De volgende acties zijn beschikbaar op het canvas om u te helpen uw visuele gegevensvoorbereiding te bewerken.

• De naam van een operator wijzigen: klik boven aan een configuratiedeelvenster op het tekstveld om de naam van de operator te wijzigen. Beschrijvende namen maken uw visuele gegevensvoorbereiding in één oogopslag gemakkelijker te begrijpen. Sommige operators, zoals de SQL-operator, kunnen verwijzen naar de uitvoer van andere operators op naam.
• Een operator kopiëren: houd de aanwijzer boven een operator en klik op pictogram Of selecteer een operator en druk op Cmd/Ctrl+C en vervolgens op Cmd/Ctrl+V.
• Automatische indeling: Klik op het in de werkbalk linksonder om automatisch alle operators in een compacte indeling te rangschikken.
• Passend beeld: klik op Klik op de werkbalk linksonder om alle operators in de huidige viewport weer te geven.
• Ongedaan maken en opnieuw uitvoeren: druk op Cmd/Ctrl+Z en Cmd/Ctrl+Shift+Z of gebruik de knoppen in de bovenste werkbalk.

Volgende stappen 

• Gegevens opnemen in Lakeflow Designer
• Ingebouwde operators in Lakeflow Designer