Einschränkungen für Dremio bei Microsoft Fabric Katalog-Mirroring

In diesem Artikel werden die aktuellen Einschränkungen und Überlegungen mit der Dremio-Katalogspiegelung in Microsoft Fabric aufgeführt.

Von Bedeutung

Dieses Feature befindet sich in der Vorschauphase.

Einschränkungen und Überlegungen

  • Das angeschlossene Dremio-Projekt und der Speicherort aller Iceberg-Tabellen müssen über das öffentliche Internet erreichbar sein. Die Katalogspiegelung unterstützt derzeit keine Firewallregeln oder andere Netzwerkeinschränkungen. Microsoft plant, diese Einschränkung zu beheben.
  • Die maximale Anzahl von Tabellen, die gleichzeitig gespiegelt werden können, beträgt 500. Dieser Grenzwert gilt sowohl für einzeln ausgewählte Tabellen als auch für alle Tabellen, die automatisch gespiegelt werden.
  • Die aus Dremio gespiegelten Tabellen liegen im Apache Iceberg-Tabellenformat vor. Diese Tabellen werden automatisch von Iceberg in Delta Lake für die Verwendung in Fabric konvertiert. Diese Konvertierung unterliegt den Einschränkungen des Iceberg-Zu-Delta Lake-Konvertierungsfeatures.
  • Dremio Iceberg-Tabellen, die Namen mit zuvor gelöschten Tabellen teilen, werden nicht gespiegelt. Dieses Verhalten ist darauf zurückzuführen, wie der Speicherordner der Tabelle bei Löschvorgängen/Wiederherstellung von Tabellen wiederverwendet wird. Dremio arbeitet daran, diese Einschränkung zu beheben.