Utilitaires de système de fichiers NotebookUtils pour Fabric

notebookutils.fs fournit des utilitaires pour travailler avec différents systèmes de fichiers, notamment Azure Data Lake Storage (ADLS) Gen2 et Stockage Blob Azure. Veillez à configurer l’accès à Azure Data Lake Storage Gen2 et Stockage Blob Azure de manière appropriée.

Exécutez les commandes suivantes pour obtenir une vue d’ensemble des méthodes disponibles :

notebookutils.fs.help()

Le tableau suivant répertorie les méthodes de système de fichiers disponibles :

Pour les opérations de montage et de démontage, consultez montage et démontage de fichier.

NotebookUtils fonctionne avec le système de fichiers de la même façon que les API Spark. Prenez l’utilisation de notebookutils.fs.mkdirs() et de Lakehouse par exemple :

• Pour le Lakehouse par défaut, les chemins d’accès aux fichiers sont montés dans votre bloc-notes avec un délai d’expiration du cache de fichiers par défaut de 120 secondes. Cela signifie que les fichiers sont mis en cache dans le dossier temporaire local du notebook pendant 120 secondes, même s’ils sont supprimés de Lakehouse. Si vous souhaitez modifier la règle de délai d’expiration, vous pouvez démonter les chemins de fichier Lakehouse par défaut et les monter à nouveau avec une valeur différente fileCacheTimeout .

• Pour les configurations Lakehouse non par défaut, vous pouvez définir le paramètre approprié fileCacheTimeout pendant le montage des chemins Lakehouse. La définition du délai d’expiration sur 0 garantit que le dernier fichier est récupéré à partir du serveur Lakehouse.

Lister les fichiers

Pour répertorier le contenu d’un répertoire, utilisez notebookutils.fs.ls('Your directory path'). Par exemple:

notebookutils.fs.ls("Files/tmp") # Relative path works with different base paths depending on notebook type
notebookutils.fs.ls("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")  # Absolute path using ABFS file system
notebookutils.fs.ls("file:/tmp")  # Full path of the local file system of driver node

L’API notebookutils.fs.ls() se comporte différemment lors de l’utilisation d’un chemin relatif, en fonction du type de notebook.

• Dans un notebook Spark : le chemin d’accès relatif est relatif au chemin ABFSS par défaut de Lakehouse. Par exemple, notebookutils.fs.ls("Files") pointe vers le répertoire Files dans le Lakehouse par défaut.

  Par exemple:

  notebookutils.fs.ls("Files/sample_datasets/public_holidays.parquet")
  

• Dans un notebook Python : le chemin relatif est relatif au répertoire de travail du système de fichiers local, qui est /home/trusted-service-user/workpar défaut . Par conséquent, vous devez utiliser le chemin d’accès complet au lieu d’un chemin d’accès relatif notebookutils.fs.ls("/lakehouse/default/Files") pour accéder au répertoire Files dans le Lakehouse par défaut.

  Par exemple:

  notebookutils.fs.ls("/lakehouse/default/Files/sample_datasets/public_holidays.parquet")
  

Affichez les propriétés de fichier

Permet notebookutils.fs.ls() d’inspecter les propriétés de fichier telles que le nom de fichier, le chemin d’accès au fichier, la taille du fichier et si un élément est un fichier ou un répertoire.

files = notebookutils.fs.ls('Your directory path')
for file in files:
    print(file.name, file.isDir, file.isFile, file.path, file.size)

Utilisez des chaînes f si vous souhaitez obtenir une sortie plus lisible :

files = notebookutils.fs.ls("Files/data")
for file in files:
    print(f"Name: {file.name}, Size: {file.size}, IsDir: {file.isDir}, Path: {file.path}")

Créer un répertoire

Créez un répertoire s’il n’existe pas, y compris les répertoires parents nécessaires.

notebookutils.fs.mkdirs('new directory name')  
notebookutils.fs.mkdirs("Files/<new_dir>")  # Works with the default Lakehouse files using relative path 
notebookutils.fs.mkdirs("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<new_dir>")  # Based on ABFS file system 
notebookutils.fs.mkdirs("file:/<new_dir>")  # Based on local file system of driver node 

Copier un fichier

Copiez un fichier ou un répertoire entre les systèmes de fichiers. Définissez recurse=True pour copier des répertoires de manière récursive.

notebookutils.fs.cp('source file or directory', 'destination file or directory', recurse=True)

L’exemple suivant montre une copie entre stockages du Lakehouse par défaut vers un compte ADLS Gen2 :

notebookutils.fs.cp(
    "Files/local_data",
    "abfss://<container>@<account>.dfs.core.windows.net/remote_data",
    recurse=True
)

Fichier de copie performant

Utiliser fastcp pour des opérations de copie plus efficaces, en particulier avec des volumes de données volumineux. Le recurse paramètre est défini par défaut sur True.

notebookutils.fs.fastcp('source file or directory', 'destination file or directory', recurse=True)

Gardez à l’esprit les éléments suivants :

• notebookutils.fs.fastcp() ne prend pas en charge la copie de fichiers dans OneLake entre les régions. Dans ce cas, vous pouvez utiliser notebookutils.fs.cp() à la place.
• En raison des limitations du raccourci OneLake, lorsque vous devez utiliser notebookutils.fs.fastcp() pour copier des données à partir du raccourci de type S3/GCS, il est recommandé d’utiliser un chemin monté au lieu d’un chemin abfss.

Afficher un aperçu du contenu du fichier

Revenez aux premiers max_bytes octets d’un fichier sous la forme d’une chaîne UTF-8.

notebookutils.fs.head('file path', max_bytes)

L’exemple suivant lit les 1 000 premiers octets d’un fichier :

content = notebookutils.fs.head("Files/data/sample.txt", 1000)
print(content)

Déplacer un fichier

Déplacez un fichier ou un répertoire entre les systèmes de fichiers.

notebookutils.fs.mv('source file or directory', 'destination directory', create_path=True, overwrite=True)

Utilisez des paramètres nommés si vous souhaitez du code plus clair :

notebookutils.fs.mv("Files/source.csv", "Files/new_folder/dest.csv", create_path=True, overwrite=True)

Écrire un fichier

Écrivez une chaîne UTF-8 dans un fichier.

notebookutils.fs.put("file path", "content to write", True) # Set the last parameter as True to overwrite the file if it already exists

Ajouter du contenu à un fichier

Ajoutez une chaîne UTF-8 à un fichier.

notebookutils.fs.append("file path", "content to append", True) # Set the last parameter as True to create the file if it doesn't exist

Lorsque vous utilisez l’API notebookutils.fs.append dans une for boucle pour écrire dans le même fichier, ajoutez une sleep instruction d’environ 0,5 à 1 seconde entre les écritures périodiques. La raison en est que l’opération notebookutils.fs.append interne de l’API flush est asynchrone : un court retard permet donc de veiller à l’intégrité des données.

import time

for i in range(100):
    notebookutils.fs.append("Files/output/data.txt", f"Line {i}\n", True)
    time.sleep(0.5)  # Prevent data integrity issues

Supprimer un fichier ou un répertoire

Supprimez un fichier ou un répertoire. Définissez recurse=True pour supprimer les répertoires de manière récursive.

notebookutils.fs.rm('file path', recurse=True) 

Vérifier si un fichier ou un répertoire existe

Vérifiez si un fichier ou un répertoire existe au chemin d’accès spécifié. Elle retourne True si le chemin existe ; sinon, il retourne False.

notebookutils.fs.exists("Files/data/input.csv")

if notebookutils.fs.exists("Files/data/input.csv"):
    notebookutils.fs.cp("Files/data/input.csv", "Files/backup/input.csv")
    print("File copied successfully.")
else:
    print("Source file not found.")

Obtenir les propriétés du fichier

Obtenir les propriétés d’un chemin d’accès sous la forme d’une carte de paires nom-valeur. La prise en charge est assurée seulement pour les chemins de stockage Blob Azure.

Paramètres :

Retourne : Un dictionnaire (map) contenant des propriétés de métadonnées telles que la taille du fichier, l’heure de création, l’heure de dernière modification et le type de contenu.

properties = notebookutils.fs.getProperties("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")
print(properties)

Contenu connexe

• Vue d’ensemble de NotebookUtils
• Monter et démonter le stockage avec NotebookUtils