OpenDatasetBase Klasse

Open Dataset Base Class for inherit.

Erstellen sie offene Datasets.

Konstruktor

OpenDatasetBase(cols: List[str] | None = None, enable_telemetry: bool = True, **kwargs)

Parameter

Name Beschreibung
cols

Eine Liste der Spaltennamen, die aus dem Dataset geladen werden sollen, ist standardmäßig "None"

Standardwert: None
enable_telemetry

Gibt an, ob Telemetrie für dieses Dataset aktiviert werden soll, standardmäßig "True".

Standardwert: True
kwargs
Erforderlich

Args für Filter

Methoden

get_file_dataset

Rufen Sie das Dateidatenset für das geöffnete Dataset ab.

get_tabular_dataset

Initialisieren Sie AbstractTabularOpenDataset mit BLOB-URL.

to_pandas_dataframe

Für Pandas Dataframe.

to_spark_dataframe

So sparken Sie Datenframes.

get_file_dataset

Rufen Sie das Dateidatenset für das geöffnete Dataset ab.

get_file_dataset(start_date: datetime = None, end_date: datetime = None, enable_telemetry: bool = True, **kwargs) -> FileDataset

Parameter

Name Beschreibung
cls
Erforderlich

aktuelle Klasse

start_date
Erforderlich

Startdatum, Standardmäßig auf "Keine" festgelegt

end_date
Erforderlich

Enddatum, Standardwert "Keine"

enable_telemetry
Erforderlich

Telemetrie aktivieren oder nicht, Standardwert auf "True"

Gibt zurück

Typ Beschreibung

Datei-Dataset

get_tabular_dataset

Initialisieren Sie AbstractTabularOpenDataset mit BLOB-URL.

get_tabular_dataset(start_date: datetime = None, end_date: datetime = None, cols: List[str] = None, enable_telemetry: bool = True, **kwargs) -> TabularDataset

Parameter

Name Beschreibung
cls
Erforderlich

Geben Sie den Namen des Open Datasets ein.

start_date
Erforderlich

Das Startdatum, das inklusive Abfrage erfolgen soll.

end_date
Erforderlich

Das Enddatum, das einschließlich abfragt werden soll.

cols
Erforderlich

Eine Liste der abzurufenden Spaltennamen. Keine ruft alle Spalten ab.

enable_telemetry
Erforderlich

Gibt an, ob Telemetrie aktiviert werden soll, nur für UT deaktiviert.

Gibt zurück

Typ Beschreibung

TabularDataset

to_pandas_dataframe

Für Pandas Dataframe.

to_pandas_dataframe() -> DataFrame

to_spark_dataframe

So sparken Sie Datenframes.

to_spark_dataframe()

Attribute

cols

Rufen Sie die abzurufende Spaltennamenliste ab.

data

Rufen Sie die Daten des OpenDataset-Objekts ab.

id

Rufen Sie die Standort-ID der geöffneten Daten ab.

log_properties

Abrufen von Protokolleigenschaften.

registry_id

Rufen Sie die Registrierungs-ID dieses öffentlichen Datasets ab, das im Back-End registriert ist.

Diese Registrierungs-ID wird verwendet, um die neuesten Metadaten wie den Speicherort abzurufen. Erwarten Sie, dass alle öffentlichen Datenunterklassen _registry_id zuweisen.

Gibt zurück

Typ Beschreibung
str

Registrierungs-ID-Zeichenfolge.

time_column_name

Name der Zeitspalte.