jdbc (DataFrameReader)

Construit une DataFrame table de base de données représentant la table de base de données accessible via l’URL urlJDBC. Les partitions de la table sont récupérées en parallèle si l’une ou column l’autre predicates est spécifiée. Si les deux column et predicates sont spécifiés, column est prioritaire.

Syntaxe

jdbc(url, table, column=None, lowerBound=None, upperBound=None,
     numPartitions=None, predicates=None, properties=None)

Paramètres

Paramètre Type Description
url str URL JDBC du formulaire jdbc:subprotocol:subname.
table str Nom de la table dans la base de données externe.
column str, facultatif Colonne à utiliser pour le partitionnement (alias pour l’option partitionColumn ). Nécessite lowerBound, upperBoundet numPartitions.
lowerBound int ou str, facultatif Valeur minimale du column partitionnement. Obligatoire quand column est spécifié.
upperBound int ou str, facultatif Valeur maximale du column partitionnement. Obligatoire quand column est spécifié.
numPartitions int, facultatif Nombre de partitions. Obligatoire quand column est spécifié.
predicates list, facultatif Liste d’expressions de WHERE clause, chacune définissant une partition du DataFrame. Ignoré si column est spécifié.
properties dict, facultatif Arguments de connexion JDBC, généralement inclus 'user' et 'password'. Par exemple : {'user': 'SYSTEM', 'password': 'mypassword'}.

Retours

DataFrame

Remarques

Évitez de créer trop de partitions en parallèle sur un cluster volumineux, car cela peut bloquer les systèmes de base de données externes.

  • Last updated on