Função from_avro

Aplica-se a:verificação marcada como sim Databricks Runtime 16.0 e superior

Retorna um valor de struct com avroBin e jsonSchemaStr.

Sintaxe

from_avro(avroBin, jsonSchemaStr, options )

Argumentos

  • avroBin: Uma BINARY expressão que especifica uma linha de dados Avro.
  • avroSchemaSpec: o esquema de destino no formato JSON. Deve corresponder ao esquema codificado em avroBin conforme especificado em to_avro().
  • options: um literal MAP<STRING,STRING> que especifica diretivas.

Devoluções

Um STRUCT com nomes de campo e tipos com base no resultado de schema_of_json(jsonStr).

avroBindeve ser bem formado em relação ao e avroSchemaSpec ou o options Databricks gera uma exceção.

Opções

Opção Valores Descrição
mode FAILFAST, PERMISSIVE Modo de tratamento de erros. Padrão: FAILFAST. No PERMISSIVE modo, os registros corrompidos são definidos NULL como em vez de gerar um erro.
compression uncompressed, snappy, deflate, bzip2, xz, , zstandard Codec de compactação para codificar dados do Avro.
avroSchemaEvolutionMode none, restart Modo de evolução do esquema. Padrão: none. Quando definido como restart, a consulta gera um UnknownFieldException quando o esquema é alterado. Reinicie o trabalho para usar o novo esquema. Consulte Usar o modo de evolução do esquema com from_avro.
recursiveFieldMaxDepth Intervalo: -1 para 15 Profundidade máxima de recursão ao longo de um único caminho recursivo. Padrão: -1, que não limita a profundidade de recursão.
Quando um tipo compartilhado é acessível de muitos caminhos de esquema distintos, a expansão do esquema pode fazer com que o driver esteja sem memória porque essa opção limita a profundidade apenas em um caminho. Para solução alternativa:

Exemplos

> SELECT from_avro(to_avro(5), '{ "type" : "int" }', NULL:MAP<STRING, STRING>);
  5

> SELECT from_avro(to_avro(5, '{ "type" : "int" }'), '{ "type" : "int" }', NULL:MAP<STRING, STRING>);
  5

> SELECT from_avro(to_avro(named_struct('num', 5, 'txt', 'hello')), '{ "type" : "record", "name": "my_record", "fields": [{ "name": "num", "type": "int"}, { "name": "txt", "type": "string"}]}', NULL:MAP<STRING, STRING>);
  {"num":5,"txt":"hello"}

> SELECT from_avro(to_avro(named_struct('num', 5, 'txt', 'hello')),
                   '{ "type" : "record", "name": "my_record", "fields": [{ "name": "num", "type": "int"}, { "name": "txt", "type": "double"}]}',
                   map('mode', 'failfast'));
  Error: Avro data is not valid for the specified schema.

> SELECT from_avro(to_avro(named_struct('num', 5, 'txt', 'hello')),
                   '{ "type" : "record", "name": "my_record", "fields": [{ "name": "num", "type": "int"}, { "name": "txt", "type": "double"}]}',
                   map('mode', 'permissive'));
  {"num":null,"txt":null}
  • Last updated on