Copiar dados da tabela da Web usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia em um pipeline do Azure Data Factory ou do Synapse Analytics para copiar dados de um banco de dados de tabela da Web. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

A diferença entre esse conector de tabela da Web, o conector REST e o conector HTTP é:

• O conector da tabela da Web extrai o conteúdo da tabela de uma página da Web em HTML.
• O conector REST especificamente dá suporte à cópia de dados de APIs RESTful.
• O conector HTTP é genérico para recuperar dados de qualquer ponto de extremidade HTTP, por exemplo, para baixar o arquivo.

Funcionalidades com suporte

Há suporte para este conector de tabela Web nas seguintes funcionalidades:

① Runtime de integração do Azure ② Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados com suporte como origens e coletores, confira a tabela Armazenamentos de dados com suporte.

Especificamente, esse conector de tabela da Web dá suporte à extração de conteúdo de tabela de uma página HTML.

Pré-requisitos

Para usar esse conector de tabela da Web, você precisa configurar um runtime de integração autoadministrado. Consulte o artigo Self-hosted integration runtime (Integration Runtime auto-hospedado) para obter detalhes.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar Dados
• Azure portal
• .NET SDK
• SDK Python
• Azure PowerShell
• REST API
• modelo Azure Resource Manager

Criar um serviço vinculado à Tabela da Web usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado à Tabela da Web na interface do usuário do portal Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados e clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Pesquise por Web e selecione o conector Tabela da Web.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções que a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas à tabela da Web.

Propriedades do serviço vinculado

As propriedades a seguir têm suporte para o serviço vinculado de tabela da Web:

Exemplo:

{
    "name": "WebLinkedService",
    "properties": {
        "type": "Web",
        "typeProperties": {
            "url" : "https://en.wikipedia.org/wiki/",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados da tabela da Web.

Para copiar dados da tabela web, defina a propriedade type do conjunto de dados como WebTable. Há suporte para as seguintes propriedades:

Exemplo:

{
    "name": "WebTableInput",
    "properties": {
        "type": "WebTable",
        "typeProperties": {
            "index": 1,
            "path": "AFI's_100_Years...100_Movies"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Web linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela origem da tabela da Web.

Tabela da Web como origem

Para copiar dados da tabela da Web, defina o tipo de origem na atividade de cópia como WebSource, não há suporte para nenhuma propriedade adicional.

Exemplo:

"activities":[
    {
        "name": "CopyFromWebTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Web table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WebSource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Obter índice de uma tabela em uma página HTML

Para obter o índice de uma tabela que você precisa configurar nas propriedades dataset, use Excel 2016 como a ferramenta a seguir:

1. Inicie Excel 2016 e alterne para a guia Data.

2. Clique em Nova Consulta na barra de ferramentas, aponte para De Outras Fontes e clique em Da Web.

   menu

3. Na caixa de diálogo Da Web, insira a URL que você usaria no JSON de serviço vinculado (por exemplo: https://en.wikipedia.org/wiki/) juntamente com o caminho que você especificaria para o conjunto de dados (por exemplo: AFI 27s_100_Years de %... 100_Movies) e clique em OK.

   

   URL usada neste exemplo: https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies

4. Se você vir a caixa de diálogo Acessar conteúdo da Web, selecione a autenticação de URL correta e clique em Conectar.

   

5. Clique em um item de tabela na exibição de árvore para ver o conteúdo da tabela e clique em Editar na parte inferior.

   

6. Na janela Editor de Consultas, clique no botão Editor Avançado na barra de ferramentas.

   botão

7. Na caixa de diálogo Editor Avançado, o número ao lado de "Origem" é o índice.

   

Se você estiver usando o Excel 2013, use o artigo Conectar a uma página da Web para obter detalhes. As etapas serão semelhantes se você estiver usando Microsoft Power BI para Desktop.

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.