Copie dados a partir da tabela Web usando Azure Data Factory ou Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia numa pipeline do Azure Data Factory ou Synapse Analytics para copiar dados de uma base de dados de tabelas Web. Ele se baseia no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

A diferença entre este conector de tabela da Web, o conector REST e o conector HTTP são:

• O conector da tabela Web extrai o conteúdo da tabela de uma página Web HTML.
• O conector REST oferece suporte especificamente à cópia de dados de APIs RESTful.
• O conector HTTP é genérico para recuperar dados de qualquer ponto de extremidade HTTP, por exemplo, para descarregar ficheiro.

Capacidades suportadas

Este conector de tabela Web é suportado para as seguintes capacidades:

(1) Runtime de integração Azure (2) Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes/coletores, consulte a tabela Armazenamentos de dados suportados.

Especificamente, esse conector de tabela da Web oferece suporte à extração de conteúdo de tabela de uma página HTML.

Pré-requisitos

Para usar este conector de tabela web, é necessário configurar um Self-hosted Integration Runtime. Consulte o artigo Self-hosted Integration Runtime para mais detalhes.

Primeiros Passos

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar dados
• Portal do Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• API REST
• Modelo do Azure Resource Manager

Criar um serviço vinculado à tabela da Web usando a interface do usuário

Use os seguintes passos para criar um serviço ligado à Web Table na interface do portal Azure.

1. Navegue até ao separador Gerir no seu espaço de trabalho Azure Data Factory ou Synapse e selecione Serviços Ligados, depois clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Procure Web e selecione o conector Web Table.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas para o conector de tabela da Web.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado de tabela da Web:

Exemplo:

{
    "name": "WebLinkedService",
    "properties": {
        "type": "Web",
        "typeProperties": {
            "url" : "https://en.wikipedia.org/wiki/",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados de tabela da Web.

Para copiar dados da tabela da Web, defina a propriedade type do conjunto de dados como WebTable. As seguintes propriedades são suportadas:

Exemplo:

{
    "name": "WebTableInput",
    "properties": {
        "type": "WebTable",
        "typeProperties": {
            "index": 1,
            "path": "AFI's_100_Years...100_Movies"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Web linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta secção fornece uma lista de propriedades suportadas pela fonte da tabela da Web.

Tabela da Web como fonte

Para copiar dados da tabela da Web, defina o tipo de fonte na atividade de cópia como WebSource, nenhuma propriedade adicional é suportada.

Exemplo:

"activities":[
    {
        "name": "CopyFromWebTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Web table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WebSource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Obter índice de uma tabela em uma página HTML

Para obter o índice de uma tabela que precisa de configurar em propriedades do conjunto de dados, pode usar, por exemplo, Excel 2016 como ferramenta da seguinte forma:

1. Inicie Excel 2016 e mude para o separador Data.

2. Clique em Nova Consulta na barra de ferramentas, aponte para De Outras Fontes e clique em Da Web.

   

3. Na caixa de diálogo Da Web, digite a URL que deve ser usada no JSON do serviço vinculado (por exemplo: https://en.wikipedia.org/wiki/) juntamente com o caminho que especificaria para o conjunto de dados (por exemplo: AFI%27s_100_Years...100_Movies) e clique em OK.

   

   URL usado neste exemplo: https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies

4. Se vir a caixa de diálogo Aceder a conteúdo Web, selecione o URL correto, a autenticação e clique em Ligar.

   

5. Clique num item de tabela na vista de árvore para ver o conteúdo da tabela e, em seguida, clique no botão Editar na parte inferior.

   

6. Na janela Editor do Power Query, clique no botão Editor Avançado na barra de ferramentas.

   

7. Na caixa de diálogo do Editor Avançado, o número ao lado de "Source" é o índice.

   

Se estiver a usar o Excel 2013, utilize o artigo Conectar a uma página web para mais detalhes. Os passos são semelhantes se estiveres a usar Microsoft Power BI para Desktop.

Propriedades da atividade de consulta

Para saber detalhes sobre as propriedades, verifique Atividade de Pesquisa.

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte armazenamentos de dados suportados.