NotebookUtils filsystemverktøy for Fabric

notebookutils.fs tilbyr verktøy for arbeid med ulike filsystemer, inkludert Azure Data Lake Storage (ADLS) Gen2 og Azure Blob Storage. Kontroller at du konfigurerer tilgang til Azure Data Lake Storage Gen2 og Azure Blob Storage på riktig måte.

Kjør følgende kommandoer for en oversikt over de tilgjengelige metodene:

notebookutils.fs.help()

Tabellen nedenfor viser tilgjengelige filsystemmetoder:

For monterings- og avmonteringsoperasjoner, se Filmontering og avmontering.

NotebookUtils fungerer med filsystemet på samme måte som Spark API-er. Ta notebookutils.fs.mkdirs() for eksempel bruken av Lakehouse:

• For standard Lakehouse er filstier montert i notatboken din med en standard filcache-tidsavslutning på 120 sekunder. Dette betyr at filer er bufret i notatbokens lokale midlertidige mappe i 120 sekunder, selv om de fjernes fra Lakehouse. Hvis du vil endre timeout-regelen, kan du avmontere standard Lakehouse-filstiene og montere dem igjen med en annen fileCacheTimeout verdi.

• For ikke-standard Lakehouse-konfigurasjoner kan du sette riktig fileCacheTimeout parameter under montering av Lakehouse-stiene. Hvis du angir tidsavbruddet til 0, sikrer du at den nyeste filen hentes fra Lakehouse-serveren.

Liste filer

For å liste innholdet i en katalog, bruk notebookutils.fs.ls('Your directory path'). Eksempel:

notebookutils.fs.ls("Files/tmp") # Relative path works with different base paths depending on notebook type
notebookutils.fs.ls("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")  # Absolute path using ABFS file system
notebookutils.fs.ls("file:/tmp")  # Full path of the local file system of driver node

API-et oppfører seg forskjellig når det notebookutils.fs.ls() bruker en relativ sti, avhengig av hvilken type notatbok det er.

• I en Spark-notatblokk: Den relative banen er relativ til standard Lakehouses ABFSS-bane. notebookutils.fs.ls("Files") peker for eksempel til Files-katalogen i standard Lakehouse.

  Eksempel:

  notebookutils.fs.ls("Files/sample_datasets/public_holidays.parquet")
  

• I en Python-notatbok: Den relative stien er relativ til det lokale filsystemets arbeidskatalog, som som standard er /home/trusted-service-user/work. Derfor bør du bruke hele banen i stedet for en relativ bane notebookutils.fs.ls("/lakehouse/default/Files") for å få tilgang til Files katalogen i standard Lakehouse.

  Eksempel:

  notebookutils.fs.ls("/lakehouse/default/Files/sample_datasets/public_holidays.parquet")
  

Vis filegenskaper

Bruk notebookutils.fs.ls() for å inspisere filegenskaper som filnavn, filsti, filstørrelse, og om et element er en fil eller katalog.

files = notebookutils.fs.ls('Your directory path')
for file in files:
    print(file.name, file.isDir, file.isFile, file.path, file.size)

Bruk f-strenger hvis du vil ha mer lesbar utdata:

files = notebookutils.fs.ls("Files/data")
for file in files:
    print(f"Name: {file.name}, Size: {file.size}, IsDir: {file.isDir}, Path: {file.path}")

Opprett ny katalog

Opprett en katalog hvis den ikke finnes, inkludert nødvendige overordnede kataloger.

notebookutils.fs.mkdirs('new directory name')  
notebookutils.fs.mkdirs("Files/<new_dir>")  # Works with the default Lakehouse files using relative path 
notebookutils.fs.mkdirs("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<new_dir>")  # Based on ABFS file system 
notebookutils.fs.mkdirs("file:/<new_dir>")  # Based on local file system of driver node 

Kopier fil

Kopier en fil eller mappe på tvers av filsystemer. Sett recurse=True til å kopiere kataloger rekursivt.

notebookutils.fs.cp('source file or directory', 'destination file or directory', recurse=True)

Følgende eksempel viser en krysslagringskopi fra standard Lakehouse til en ADLS Gen2-konto:

notebookutils.fs.cp(
    "Files/local_data",
    "abfss://<container>@<account>.dfs.core.windows.net/remote_data",
    recurse=True
)

Performant kopieringsfil

fastcp Bruk for mer effektive kopieringsoperasjoner, spesielt med store datavolumer. Parameteren recurse er som standard .True

notebookutils.fs.fastcp('source file or directory', 'destination file or directory', recurse=True)

Husk disse hensynene:

• notebookutils.fs.fastcp() støtter ikke kopiering av filer i OneLake på tvers av regioner. I dette tilfellet kan du bruke notebookutils.fs.cp() i stedet.
• På grunn av begrensningene i OneLake-snarveien, anbefales det å bruke en montert sti i stedet for en abfss-sti når du må bruke notebookutils.fs.fastcp() den for å kopiere data fra en S3/GCS-type snarvei.

Forhåndsvis filinnhold

Returner opp til de første max_bytes bytene i en fil som en UTF-8-streng.

notebookutils.fs.head('file path', max_bytes)

Følgende eksempel leser de første 1 000 bytene av en fil:

content = notebookutils.fs.head("Files/data/sample.txt", 1000)
print(content)

Flytt fil

Flytt en fil eller mappe på tvers av filsystemer.

notebookutils.fs.mv('source file or directory', 'destination directory', create_path=True, overwrite=True)

Bruk navngitte parametere hvis du vil ha klarere kode:

notebookutils.fs.mv("Files/source.csv", "Files/new_folder/dest.csv", create_path=True, overwrite=True)

Skrive fil

Skriv en UTF-8-streng til en fil.

notebookutils.fs.put("file path", "content to write", True) # Set the last parameter as True to overwrite the file if it already exists

Tilføy innhold til en fil

Legg til en UTF-8-streng i en fil.

notebookutils.fs.append("file path", "content to append", True) # Set the last parameter as True to create the file if it doesn't exist

Når du bruker API-et notebookutils.fs.append i en for løkke for å skrive til samme fil, legg til en sleep setning på omtrent 0,5 til 1 sekund mellom de gjentakende skrivingene. Denne anbefalingen skyldes at notebookutils.fs.append API-ens interne flush-operasjon er asynkron, så en kort forsinkelse bidrar til å sikre dataintegritet.

import time

for i in range(100):
    notebookutils.fs.append("Files/output/data.txt", f"Line {i}\n", True)
    time.sleep(0.5)  # Prevent data integrity issues

Slette fil eller katalog

Fjern en fil eller katalog. Sett recurse=True til å fjerne kataloger rekursivt.

notebookutils.fs.rm('file path', recurse=True) 

Sjekk om en fil eller katalog eksisterer

Sjekk om en fil eller mappe finnes på den angitte stien. Den returnerer True hvis stien eksisterer; ellers returnerer Falseden .

notebookutils.fs.exists("Files/data/input.csv")

if notebookutils.fs.exists("Files/data/input.csv"):
    notebookutils.fs.cp("Files/data/input.csv", "Files/backup/input.csv")
    print("File copied successfully.")
else:
    print("Source file not found.")

Hent filegenskaper

Få egenskaper for en sti som et kart over navn-verdi-par. Det støttes kun for Azure Blob Storage-stier.

Parametere:

Returer: En ordbok (kart) som inneholder metadata-egenskaper som filstørrelse, opprettelsestid, sist endret tid og innholdstype.

properties = notebookutils.fs.getProperties("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")
print(properties)

Relatert innhold

• NotebookUtils-oversikt
• Monter og ta ut lagring med NotebookUtils