Referencia del conector PostgreSQL

Importante

El conector de PostgreSQL para Lakeflow Connect está en versión preliminar pública. Póngase en contacto con el equipo de su cuenta de Databricks para inscribirse en la Vista previa pública.

Esta página contiene material de referencia para el conector postgreSQL en Databricks Lakeflow Connect.

Transformaciones automáticas de datos

Databricks transforma automáticamente los siguientes tipos de datos de PostgreSQL en tipos de datos compatibles con Delta:

Tipo de PostgreSQL Tipo Delta
BOOLEAN BOOLEAN
SMALLINT SMALLINT
INTEGER INT
BIGINT BIGINT
DECIMAL(p,s) DECIMAL(p,s)
NUMERIC(p,s) DECIMAL(p,s)
REAL FLOAT
DOUBLE PRECISION DOUBLE
SMALLSERIAL SMALLINT
SERIAL INT
BIGSERIAL BIGINT
MONEY STRING
CHAR(n) STRING
VARCHAR(n) STRING
TEXT STRING
BYTEA BINARY
DATE DATE
TIME STRING
TIME WITH TIME ZONE STRING
TIMESTAMP STRING
TIMESTAMP WITH TIME ZONE TIMESTAMP
INTERVAL STRING
UUID BINARY
JSON STRING
JSONB STRING
XML STRING
ARRAY STRING
CIDR STRING
INET STRING
MACADDR STRING
BIT(n) BINARY
BIT VARYING(n) BINARY

Notas importantes sobre los tipos de fecha y hora

  • DATE el tipo de datos se ingiere como el tipo Delta DATE . Se admite el intervalo de fechas completo de PostgreSQL. Inf los valores y -Inf se convierten en null. Las fechas bc se almacenan mediante la numeración del año astronómica. Por ejemplo, 1 BC se asigna al año 0 y 2 BC se asigna a -1.
  • TIMESTAMP (sin zona horaria) el tipo de datos se ingiere como cadenas. Inf y -Inf los valores se conservan como cadenas.
  • TIMESTAMP WITH TIME ZONE el tipo de datos se ingiere como el tipo Delta TIMESTAMP . El intervalo admitido por PostgreSQL es 4713-01-01 00:00:00.000000 BC para 294276-12-31 23:59:59.999999 AD, mientras que el intervalo admitido por Databricks es -290308-12-21 BCE 19:59:06 GMT a +294247-01-10 CE 04:00:54 GMT. Las marcas de tiempo anteriores a la marca de tiempo máxima admitida de Databricks se convierten en null. Las fechas bc se almacenan mediante la numeración del año astronómica. Por ejemplo, 1 BC se asigna al año 0 y 2 BC se asigna a -1. Inf los valores y -Inf se convierten en null.
  • TIMELos tipos de datos , TIME WITH TIME ZONEy INTERVAL se ingieren como cadenas en su formato original. Puede usar funciones SQL de Databricks para analizar estas cadenas en las representaciones de tiempo adecuadas si es necesario. Para INTERVAL el tipo de datos, los valores infinitos se asignan a 0 years 0 mins 0 days 0 hours 0 mins 0.0 secs.

Tipos de datos definidos por el usuario y de terceros

Los tipos definidos por el usuario y los tipos de datos de extensiones de PostgreSQL de terceros se ingieren como cadenas. Si necesita transformar estos tipos, puede usar funciones SQL de Databricks para analizar las cadenas de representación durante el procesamiento posterior.

Tipos compuestos

Los tipos compuestos de PostgreSQL (también conocidos como tipos de fila) se ingieren como cadenas. La representación de cadena sigue el formato de tipo compuesto de PostgreSQL: (value1,value2,value3).

  • Last updated on