Limitações do conector Zerobus Ingest

Esta página lista as limitações ao usar o conector Zerobus Ingest no Lakeflow Connect.

Availability

O conector Zerobus Ingest está disponível apenas em algumas regiões. Para uma lista de regiões suportadas, consulte Disponibilidade de Ingestão de Dados.

Todas as regiões disponíveis oferecem disponibilidade de serviço multizonal, exceto westus e northcentralus que oferecem disponibilidade de uma única zona.

Latency

A latência reflete tanto o reconhecimento da durabilidade como o tempo para materializar os registos na tabela Delta alvo. Os tempos reais variam consoante o alinhamento da região e as características da carga de trabalho.

• Tempo para a durabilidade
  • P95 ≤ 500 ms
  • P50 ≤ 200 ms
• Tempo para a tabela
  • P95 ≤ 30 seg
  • P50 ≤ 5 seg

Restrições de throughput

• 100 MB/segundo por stream (comparado com mensagens do tamanho de 1KB)
• 10 GB/segundo por tabela alvo
• 15.000 registos por segundo por fluxo

Para alcançar o máximo rendimento, uma aplicação cliente e um endpoint devem estar na mesma região geográfica. Se precisar de uma taxa de transferência mais elevada, entre em contacto com o seu representante de conta da Databricks.

Garantias de entrega

O conector Zerobus Ingest só oferece pelo menos uma garantia.

Quotas

Abaixo estão as quotas padrão para o conector Zerobus Ingest. Se precisar de melhor desempenho, contacte o seu representante de conta Databricks.

gRPC

• Taxa de transmissão de 100 Megabytes por segundo por fluxo de dados
• Taxa de transferência de 10GB por segundo por tabela de destino

REST

• 10.000 pedidos por segundo

Tabelas particionadas

Ao escrever em tabelas particionadas, o conector Zerobus Ingest não suporta a escrita em mais de 1000 partições em intervalos de 5 segundos.

Commits de catálogo

O Zerobus Ingest não suporta confirmações de catálogo. Não use o Zerobus Ingest para tabelas Delta com commits de catálogo ativados.

Tabela de Espaço de Trabalho e Destino

São necessárias as seguintes condições do espaço de trabalho e da tabela alvo para a ingestão.

• O conector suporta escrita apenas em tabelas Delta geridas. A escrita para armazenamento predefinido não é suportada.
• O conector não suporta escrita para armazenamento protegido através de um endpoint privado.
• O conector não suporta a recriação de uma tabela alvo.
• O conector só suporta nomes de tabelas com letras, dígitos e sublinhados ASCII.
• Tanto o espaço de trabalho como a tabela de destino devem estar numa das regiões disponíveis, e ambos devem estar na mesma região.

Tabelas agrupadas líquidas

Ao usar o conector Zerobus Ingest com tabelas clusterizadas líquidas, recomenda-se manter a otimização preditiva ativada para a tabela alvo. O conector grava os dados na tabela, mas o agrupamento ótimo de dados é aplicado de forma assíncrona pelo serviço de otimização preditiva. Desativar a otimização preditiva pode resultar num desempenho de consulta subótimo nos dados ingeridos.

Espaços de trabalho para perfis de segurança e conformidade

O conector Zerobus Ingest não é suportado para espaços de trabalho de perfil de segurança de conformidade (como FedRAMP, HIPAA e PCI-DSS). Não utilize o conector Zerobus Ingest para cargas de trabalho que exijam garantias de conformidade. Para uma lista de normas e programas de conformidade suportados, consulte Perfil de segurança de conformidade.

Evolução do esquema

O Zerobus Ingest nunca irá autoatualizar a sua tabela alvo.

O Zerobus Ingest suporta a ingestão contínua quando são adicionadas colunas Delta anuláveis à tabela de destino. Colunas em falta são preenchidas com NULL valores, permitindo enviar registos com campos em falta.

Esquema Protobuf

A definição do esquema protobuf deve coincidir 1:1 com o esquema da tabela Delta (excluindo colunas delta adicionais anuláveis, que são consideradas uma alteração de esquema não disruptiva). Se o esquema não corresponder, a API devolve um erro. Isto inclui:

• Número diferente de colunas

• Nomes de colunas diferentes

• Opcionalidade de coluna diferente (anulável e não anulável)

• O conector não suporta protoesquemas com mais de 2000 colunas.

• O conector só suporta nomes de tabelas e colunas com letras, dígitos e sublinhados ASCII.

• O conector não suporta a utilização de um esquema proto diferente para operações de "criação de fluxo" e "ingestão de registo".

Tamanho do registo

Cada mensagem está limitada a 10 MB. O tamanho máximo do disco é de 10.485.760 bytes. Os cabeçalhos necessários para comunicação ocupam 19 bytes.

Suporte a tipos

A tabela seguinte mostra os tipos Delta suportados e os respetivos tipos Protobuf para ingestão.