NotebookUtils-filsystemverktyg för Fabric

notebookutils.fs tillhandahåller verktyg för att arbeta med olika filsystem, inklusive Azure Data Lake Storage (ADLS) Gen2 och Azure Blob Storage. Se till att du konfigurerar åtkomsten till Azure Data Lake Storage Gen2 och Azure Blob Storage på rätt sätt.

Kör följande kommandon för en översikt över tillgängliga metoder:

notebookutils.fs.help()

I följande tabell visas de tillgängliga filsystemmetoderna:

Information om hur du utför monterings- och avmonteringsåtgärder finns i Montera och avmontera filer.

NotebookUtils fungerar med filsystemet på samma sätt som Spark-API:er. Ta till exempel användningen av notebookutils.fs.mkdirs() och Lakehouse.

• För standard-Lakehouse monteras filsökvägar i din notebook med en standardtidsgräns för filcache på 120 sekunder. Det innebär att filer cachelagras i anteckningsbokens lokala temporära mapp i 120 sekunder, även om de tas bort från Lakehouse. Om du vill ändra tidsgränsregeln kan du avmontera standardsökvägarna för Lakehouse-filen och sedan montera om dem med ett annat fileCacheTimeout-värde.

• För Lakehouse-konfigurationer som inte är standard kan du ange lämplig fileCacheTimeout parameter vid montering av Lakehouse-sökvägarna. Om tidsgränsen anges till 0 ser du till att den senaste filen hämtas från Lakehouse-servern.

Lista filer

Om du vill visa en lista över innehållet i en katalog använder du notebookutils.fs.ls('Your directory path'). Som exempel:

notebookutils.fs.ls("Files/tmp") # Relative path works with different base paths depending on notebook type
notebookutils.fs.ls("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")  # Absolute path using ABFS file system
notebookutils.fs.ls("file:/tmp")  # Full path of the local file system of driver node

API:t notebookutils.fs.ls() fungerar annorlunda vid användning av en relativ sökväg, beroende på notebooktypen.

• I en Spark notebook: Den relativa sökvägen är relativ till Lakehouse ABFSS:s standardsökväg. Till exempel pekar notebookutils.fs.ls("Files") på katalogen Files i Standard Lakehouse.

  Som exempel:

  notebookutils.fs.ls("Files/sample_datasets/public_holidays.parquet")
  

• I en Python-anteckningsbok: Den relativa sökvägen är relativ till det lokala filsystemets arbetskatalog, som som standard är /home/trusted-service-user/work. Därför bör du använda den fullständiga sökvägen i stället för en relativ sökväg notebookutils.fs.ls("/lakehouse/default/Files") för att få åtkomst till katalogen Files i standardkatalogen i Lakehouse.

  Som exempel:

  notebookutils.fs.ls("/lakehouse/default/Files/sample_datasets/public_holidays.parquet")
  

Visa filegenskaper

Använd notebookutils.fs.ls() för att granska filegenskaper som filnamn, filsökväg, filstorlek och om ett objekt är en fil eller katalog.

files = notebookutils.fs.ls('Your directory path')
for file in files:
    print(file.name, file.isDir, file.isFile, file.path, file.size)

Använd f-strängar om du vill ha mer läsbara utdata:

files = notebookutils.fs.ls("Files/data")
for file in files:
    print(f"Name: {file.name}, Size: {file.size}, IsDir: {file.isDir}, Path: {file.path}")

Skapa ny katalog

Skapa en katalog om den inte finns, inklusive eventuella nödvändiga överordnade kataloger.

notebookutils.fs.mkdirs('new directory name')  
notebookutils.fs.mkdirs("Files/<new_dir>")  # Works with the default Lakehouse files using relative path 
notebookutils.fs.mkdirs("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<new_dir>")  # Based on ABFS file system 
notebookutils.fs.mkdirs("file:/<new_dir>")  # Based on local file system of driver node 

Kopiera fil

Kopiera en fil eller katalog mellan filsystem. Ange recurse=True att kopiera kataloger rekursivt.

notebookutils.fs.cp('source file or directory', 'destination file or directory', recurse=True)

I följande exempel visas en kopia mellan lagringsenheter från Standard Lakehouse till ett ADLS Gen2-konto:

notebookutils.fs.cp(
    "Files/local_data",
    "abfss://<container>@<account>.dfs.core.windows.net/remote_data",
    recurse=True
)

Effektiv kopiering av fil

Använd fastcp för effektivare kopieringsåtgärder, särskilt med stora datavolymer. Som standard är parametern recurseTrue.

notebookutils.fs.fastcp('source file or directory', 'destination file or directory', recurse=True)

Tänk på följande:

• notebookutils.fs.fastcp() stöder inte kopiering av filer i OneLake mellan regioner. I det här fallet kan du använda notebookutils.fs.cp() i stället.
• På grund av begränsningarna i OneLake-genvägen rekommenderar vi att du använder en monterad sökväg i stället för en abfss-sökväg när du behöver använda notebookutils.fs.fastcp() för att kopiera data från genväg av S3/GCS-typ.

Förhandsgranska filinnehåll

Återgå till de första max_bytes byteen i en fil som en UTF-8-sträng.

notebookutils.fs.head('file path', max_bytes)

Följande exempel läser de första 1 000 byteen av en fil:

content = notebookutils.fs.head("Files/data/sample.txt", 1000)
print(content)

Flytta fil

Flytta en fil eller katalog mellan filsystem.

notebookutils.fs.mv('source file or directory', 'destination directory', create_path=True, overwrite=True)

Använd namngivna parametrar om du vill ha tydligare kod:

notebookutils.fs.mv("Files/source.csv", "Files/new_folder/dest.csv", create_path=True, overwrite=True)

Skriv fil

Skriv en UTF-8-sträng till en fil.

notebookutils.fs.put("file path", "content to write", True) # Set the last parameter as True to overwrite the file if it already exists

Lägga till innehåll i en fil

Lägg till en UTF-8-sträng i en fil.

notebookutils.fs.append("file path", "content to append", True) # Set the last parameter as True to create the file if it doesn't exist

När du använder API:et notebookutils.fs.append i en for loop för att skriva till samma fil lägger du till en sleep instruktion på cirka 0,5 till 1 sekund mellan de återkommande skrivningar. Den här rekommendationen beror på att notebookutils.fs.append API:ets interna flush åtgärd är asynkron, så en kort fördröjning bidrar till att säkerställa dataintegriteten.

import time

for i in range(100):
    notebookutils.fs.append("Files/output/data.txt", f"Line {i}\n", True)
    time.sleep(0.5)  # Prevent data integrity issues

Ta bort fil eller katalog

Ta bort en fil eller katalog. Ange recurse=True för att ta bort kataloger rekursivt.

notebookutils.fs.rm('file path', recurse=True) 

Kontrollera om det finns en fil eller katalog

Kontrollera om det finns en fil eller katalog på den angivna sökvägen. Den returnerar True om sökvägen finns. Annars returneras False.

notebookutils.fs.exists("Files/data/input.csv")

if notebookutils.fs.exists("Files/data/input.csv"):
    notebookutils.fs.cp("Files/data/input.csv", "Files/backup/input.csv")
    print("File copied successfully.")
else:
    print("Source file not found.")

Hämta filegenskaper

Hämta egenskaper för en sökväg som en karta över namn/värde-par. Det stöds bara för Azure Blob Storage-sökvägar.

Parameters:

Returnerar: En ordbok (karta) som innehåller metadataegenskaper som filstorlek, skapelsetid, senast ändrade tid och innehållstyp.

properties = notebookutils.fs.getProperties("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")
print(properties)

Relaterat innehåll

• Översikt över NotebookUtils
• Montera och demontera lagring med NotebookUtils