read (DataSourceStreamReader)

Genera datos para una partición determinada y devuelve un iterador de tuplas o filas.

Este método se invoca una vez por partición para leer los datos. La implementación de este método es necesaria para los lectores de flujos. Puede inicializar los recursos no serializables necesarios para leer datos del origen de datos dentro de este método.

Agregado en Databricks Runtime 15.2

Sintaxis

read(partition: InputPartition)

Parámetros

Parámetro Tipo Descripción
partition InputPartition Partición que se va a leer. Debe ser uno de los valores de partición devueltos por partitions().

Devoluciones

Iterator[Tuple] o Iterator[RecordBatch]

Iterador de tuplas o filas. Cada tupla o fila se convertirá en una fila en el dataframe final. También puede devolver un iterador de objetos PyArrow RecordBatch si el origen de datos lo admite.

Notas

Este método es estático y sin estado. No acceda a miembros de clase mutables ni mantenga el estado en memoria entre las diferentes invocaciones de read().