Como usar blocos de anotações Microsoft Fabric

O bloco de anotações Microsoft Fabric é um item de código primário para desenvolver trabalhos do Apache Spark e experimentos de machine learning. É uma interface interativa baseada na Web usada por cientistas de dados e engenheiros de dados para escrever código que se beneficia de visualizações avançadas e texto Markdown. Os engenheiros de dados gravam código para ingestão de dados, preparação de dados e transformação de dados. Os cientistas de dados também usam notebooks para criar soluções machine learning, incluindo a criação de experimentos e modelos, acompanhamento de modelos e implantação.

Com um bloco de anotações Fabric, você pode:

• Comece agora com zero esforço de configuração.
• Explorar e processar facilmente dados com uma experiência intuitiva de baixo código.
• Manter os dados protegidos com recursos internos de segurança corporativa.
• Analisar dados em formatos brutos (CSV, txt, JSON etc.), formatos de arquivo processados (parquet, Delta Lake, etc.), usando as funcionalidades avançadas do Spark.
• Seja produtivo com recursos de criação aprimorados e visualização de dados interna.
• Aproveite Copilot para geração de código, refatoração e validação com reconhecimento de contexto em seu notebook.
• Diagnosticar e reparar rapidamente células com falha ou trabalhos do Spark com Corrigir com Copilot, incluindo alterações de código baseadas em aprovação.

Este artigo descreve como usar notebooks em experiências de ciência de dados e engenharia de dados.

Contexto de segurança do notebook em execução

A execução do notebook pode ser disparada de três maneiras, cada uma com um contexto de segurança diferente:

• Execução interativa: você dispara manualmente a execução por meio da interface do usuário ou da API REST. O notebook é executado no seu contexto de segurança (o usuário atual).
• Executar como atividade de pipeline: a execução é disparada de um pipeline do Fabric Data Factory. Consulte a atividade do Bloco de Anotações para obter detalhes. O notebook é executado sob a identidade do último usuário que modificou o pipeline, não do proprietário do pipeline ou do proprietário do notebook. Isso significa que quem editou o pipeline pela última vez determina o contexto de segurança para acesso a dados, chamadas à API e permissões.
• Agendador: a execução é iniciada a partir de uma execução agendada. O notebook é executado sob a identidade do usuário que criou ou atualizou a agenda pela última vez.

Essas opções de execução fornecem flexibilidade para cenários diferentes, mas você deve entender qual identidade executa seu notebook. O contexto de segurança afeta permissões de acesso a dados, autorização de chamadas de API e disponibilidade de recursos. Algumas APIs (como pontos de extremidade T-SQL) não suportam entidades de serviço e requerem uma entidade de usuário.

Na primeira vez em que um notebook é criado, uma mensagem de aviso é mostrada para lembrá-lo do risco de executar o código sem revisá-lo.

Siga estas práticas recomendadas para evitar problemas de segurança:

• Antes de executar um notebook manualmente: verifique quem modificou o notebook pela última vez e use o painel de histórico de versão para examinar as alterações reais de conteúdo antes de executar o código que você não escreveu.
• Antes de adicionar um notebook a um pipeline: verifique quem modificou o pipeline pela última vez, porque o notebook é executado sob a identidade desse usuário. Abra o notebook do pipeline para revisar seu conteúdo mais recente. Se a identidade não tiver as permissões necessárias (ou se você precisar de uma entidade de usuário em vez de uma entidade de serviço para determinadas APIs), faça com que o usuário apropriado edite o pipeline para atualizar a última identidade modificada.
• Antes de criar ou atualizar um agendamento: o notebook é executado sob a identidade de quem cria ou atualiza o agendamento. Verifique se o usuário tem as permissões necessárias para todas as operações no notebook.
• Usar fases de workspace: separar workspaces em fases de desenvolvimento, teste e produção. Restrinja o acesso aos espaços de trabalho de produção apenas a usuários confiáveis.

Criar notebooks

Você pode criar um novo notebook ou importar um notebook existente.

Criar um novo notebook

Assim como outros processos de criação de item de Fabric padrão, você pode facilmente criar um novo notebook a partir da página inicial Fabric Data Engineering, da opção New ou do hub Create.

Para obter diretrizes de criação de notebook passo a passo em fluxos de trabalho específicos, consulte:

• Explore os dados no seu lakehouse usando um bloco de notas para criar um bloco de notas no contexto de um lakehouse no portal Fabric.
• notebooks Author em Microsoft Fabric com Visual Studio Code para criar notebooks do VS Code.
• APIs públicas para notebooks para criar notebooks por meio de APIs REST.

Importar notebooks existentes

Você pode importar um ou mais notebooks existentes do computador local usando a entrada na barra de ferramentas do workspace. Fabric notebooks reconhecem os arquivos padrão Jupyter Notebook .ipynb, e arquivos de origem como .py, .scala e .sql, e criam novos itens de notebook adequadamente.

Exportar um notebook

Você pode exportar seu notebook para outros formatos padrão. O bloco de anotações Fabric pode ser exportado para:

Salvar um notebook

Em Fabric, um bloco de anotações salvará automaticamente depois de abri-lo e editá-lo; você não precisa se preocupar em perder alterações de código. Você também pode usar Salvar uma cópia para clonar outra cópia no workspace atual ou em outro workspace.

Se preferir salvar o notebook manualmente, mude para a opção de salvamento Manual para ter um branch local do seu item de notebook e use a opção Salvar ou CTRL+s para salvar suas alterações.

Você também pode alternar para o modo de salvamento manual selecionando Editar – >Opções de salvamento – >Manual. Para ativar um branch local do notebook e salvá-lo manualmente selecione Salvar ou use o atalho de teclado Ctrl+s.

Conectar lakehouses e notebooks

Fabric notebooks agora suportam interações próximas com lakehouses; você pode facilmente adicionar uma nova ou existente lakehouse do Lakehouse explorer.

Você pode acessar diversos lakehouses no Lakehouse Explorer e definir um deles como padrão fixando-o. Seu padrão será montado no diretório de trabalho de runtime e você poderá ler ou gravar no lakehouse padrão usando um caminho local.

Adicionar ou remover um lakehouse

Selecionar o ícone X ao lado de um nome de lakehouse o remove da guia do notebook, mas o item lakehouse ainda existe no workspace.

Selecione Adicionar Lakehouse para adicionar outras Lakehouses ao notebook, escolhendo entre um existente ou criando um novo.

Explorar um arquivo lakehouse

A subpasta e os arquivos na seção Tabelas e Arquivos do modo de exibição Lake aparecem em uma área de conteúdo entre a lista lakehouse e o conteúdo do notebook. Selecione pastas diferentes na seção Tabelas e Arquivos para atualizar a área de conteúdo.

Operações de pasta e arquivo

Se você selecionar um arquivo (.csv,.parquet,.txt,.jpg,.pngetc.) com um clique com o mouse direito, poderá usar a API spark ou Pandas para carregar os dados. Uma nova célula de código será gerada e inserida abaixo da célula de foco.

Você pode copiar facilmente o caminho com um formato diferente do arquivo ou pasta selecionado e usar o caminho correspondente no seu código.

Recursos do Notebook

O gerenciador de recursos do notebook fornece um sistema de arquivos semelhante ao Unix para ajudá-lo a gerenciar suas pastas e arquivos. Ele oferece um espaço gravável do sistema de arquivos em que você pode armazenar arquivos de tamanho pequeno, como módulos de código, modelos semânticos e imagens. Você pode acessá-los facilmente com código no notebook, como se estivesse trabalhando com seu sistema de arquivos local.

Pasta de recursos integrada

A pasta de recursos internos é uma pasta definida pelo sistema exclusiva para cada notebook. É recomendável usar a pasta de recursos interna para armazenar quaisquer dados usados no notebook em uso. Estas são as principais funcionalidades dos recursos do notebook.

• Você pode usar operações comuns, como criar/excluir, carregar/baixar, arrastar/soltar, renomear, duplicar e pesquisar pela interface do usuário.
• Você pode usar caminhos relativos como builtin/YourData.txt para uma exploração rápida. O método notebookutils.nbResPath ajuda você a compor o caminho completo.
• Você pode mover facilmente seus dados validados para um lakehouse por meio da opção Gravar no lakehouse. O Fabric incorpora snippets de código detalhados para tipos de arquivo comuns para ajudá-lo a começar rapidamente.
• Esses recursos também estão disponíveis para uso no caso de Execução do notebook de referência por meio do notebookutils.notebook.run().

Pasta de recursos de ambiente

A pasta de recursos de ambiente é um repositório compartilhado criado para simplificar a colaboração em vários notebooks.

• Você pode encontrar a guia Recursos dentro do ambiente e realizar as operações completas para gerenciar os arquivos de recursos aqui. Esses arquivos podem ser compartilhados em vários notebooks, depois que notebook é anexado ao ambiente atual.

  

• Na página Notebook, você pode encontrar facilmente uma segunda pasta raiz nos Recursos herdados do ambiente anexado.

  

• Você também pode operar nos arquivos/pastas da mesma forma com a pasta interna de recursos.

• O caminho do recurso ambiente é montado automaticamente no cluster do notebook. Você pode usar o caminho relativo /env para acessar os recursos do ambiente.

Ambientes do Fabric dão suporte a dois modos de publicação de biblioteca que afetam como as bibliotecas são entregues às sessões do bloco de anotações.

• Modo rápido publica em cerca de 5 segundos e instala bibliotecas ao iniciar a sessão do notebook. O modo rápido pode substituir as versões de biblioteca publicadas por meio do modo Completo, mas somente para a sessão atual.
• O modo completo cria um instantâneo de biblioteca estável e reproduzível. A publicação normalmente leva de 3 a 6 minutos e a inicialização da sessão adiciona de 1 a 3 minutos para implantação das dependências. Usar o modo Completo com um pool dinâmico personalizado pode reduzir o tempo de início da sessão para cerca de 5 segundos, mantendo o instantâneo estável.

Para obter detalhes sobre cada modo, consulte Gerenciar bibliotecas em ambientes Fabric.

Usar bibliotecas de ambiente em notebooks

Escolha um modo de publicação de biblioteca com base no fluxo de trabalho:

• Modo rápido para desenvolvimento iterativo: use o modo Rápido quando estiver experimentando ativamente em notebooks e precisar de iteração de biblioteca rápida. As bibliotecas são instaladas no início da sessão com o tempo mínimo de publicação.
• Modo completo para reprodutibilidade: use o modo Completo quando precisar de versões de biblioteca consistentes entre colaboradores, execuções agendadas ou trabalhos de pipeline. O snapshot garante que cada sessão comece com as mesmas dependências.
• Modo completo com um pool ao vivo personalizado para sessões rápidas e estáveis: quando tanto a inicialização de sessão rápida quanto a reprodutibilidade forem importantes, configure o modo Completo com um pool dinâmico personalizado. Essa combinação permite inícios de sessões em aproximadamente 5 segundos, enquanto preserva o instantâneo estável da biblioteca.

Editor de arquivos

O editor de arquivos permite que você exiba e edite arquivos diretamente na pasta de recursos do notebook e na pasta de recursos de ambiente no notebook. Os tipos de arquivo com suporte incluem CSV, TXT, HTML, YML, PY, SQL e muito mais. Com o editor de arquivos, você pode acessar e modificar facilmente os arquivos dentro do notebook. Ele dá suporte ao realce de palavras-chave e fornece o serviço de idioma necessário ao abrir e editar arquivos de código, como .py e .sql.

• Você pode acessar esse recurso por meio de 'Ver e editar' no menu de arquivos. Clicar duas vezes no arquivo é uma maneira mais rápida.

  

• A alteração de conteúdo no editor de arquivos precisa ser salva manualmente clicando no botão Salvar ou atalho de teclado: Ctrl+S, o editor de arquivos não dá suporte ao salvamento automático.

• O modo notebook também afeta o editor de arquivos. Você só poderá exibir arquivos, mas não poderá editá-los, se estiver no modo de notebook sem a permissão de edição.

Colaborar em um notebook

O bloco de anotações Fabric é um item colaborativo que dá suporte a vários usuários editando o mesmo bloco de anotações.

Quando você abre um bloco de anotações, insere o modo de coeditamento por padrão e cada edição de bloco de anotações é salva automaticamente. Se os seus colegas abrirem o mesmo notebook simultaneamente, você verá o perfil, a saída da execução, o indicador de cursor, o indicador de seleção e o rastreamento da edição. Ao usar os recursos de colaboração, você pode facilmente realizar programação em dupla, depuração remota e cenários de tutoria.

Usar Copilot em notebooks

Copilot está imediatamente consciente do contexto do workspace, dos esquemas, tabelas e arquivos anexados do Lakehouse, da estrutura do notebook e do estado atual de execução. Você não precisa iniciar uma sessão para Copilot começar a ajudá-lo. Copilot dá suporte a várias etapas, geração de código em todo o notebook, refatoração, resumo e validação em fluxos de trabalho inteiros, para que você possa trabalhar entre células sem perder o contexto.

Insights de desempenho do Copilot

Copilot apresenta diretrizes de desempenho com base no tamanho dos dados, nos padrões de junção e no comportamento do runtime. Por exemplo, ele pode recomendar estratégias de junção eficientes, ajudá-lo a evitar embaralhamentos custosos, propor refatoração em funções reutilizáveis e destacar possíveis problemas de qualidade de dados observados durante a execução. Esses insights aparecem como parte de suas interações com o Copilot e estão alinhados com o comando /optimize.

Solucionar problemas com Copilot

Quando uma célula ou trabalho Spark falha, uma opção Corrigir com Copilot aparece abaixo da célula com falha. Ele fornece um resumo de erros, análise de causa raiz e correções recomendadas. Copilot pode aplicar automaticamente alterações de código com um diferencial de aprovação para que você possa revisar antes de confirmar. Você também pode usar o comando /fix em Copilot chat para executar diagnósticos direcionados para uma célula específica ou todo o notebook. Para obter mais informações, consulte Diagnosticar falhas de notebook com o Copilot.

Compartilhar um notebook

Compartilhar um notebook é uma maneira conveniente de colaborar com os membros da equipe. Por padrão, as funções autorizadas do espaço de trabalho podem exibir ou editar/executar notebooks. Você pode compartilhar um notebook com a concessão de permissões específicas.

1. Selecione Compartilhar na barra de ferramentas do notebook.

   

2. Selecione a categoria correspondente de pessoas que podem exibir este notebook. Você pode escolher Compartilhar, Editar ou Executar permissões para os destinatários.

   

3. Depois de selecionar Aplicar, você pode enviar o notebook diretamente ou copiar o link para outras pessoas. Em seguida, os destinatários podem abrir o notebook com a exibição correspondente concedida pelo nível de permissão.

   

4. Para gerenciar ainda mais as permissões do notebook, selecione Lista de itens do Workspace>Mais opções e selecione Gerenciar permissões. Nessa tela, você pode atualizar o acesso ao bloco de anotações existente e as permissões.

   

Comentar uma célula de código

O comentário é outro recurso útil em cenários colaborativos. Atualmente, Fabric dá suporte à adição de comentários no nível da célula.

1. Selecione o botão Comentários na barra de ferramentas do notebook ou no indicador de comentário da célula para abrir o painel Comentários.

   

2. Selecione o código na célula de código, selecione Novo no painel Comentários, adicione comentários e selecione Postar comentário para salvar.

   

3. Se precisar deles, localize as opções Editar comentário, Resolver thread e Excluir thread, selecionando a opção Mais ao lado do comentário.

Marcando outras pessoas em um comentário

"Marcação" refere-se a mencionar e notificar um usuário em um thread de comentário, aprimorando a colaboração com eficiência nas especificidades.

1. Selecione uma seção de código em uma célula e crie um thread de comentários.

2. Insira o nome de usuário e escolha o correto na lista de sugestões se quiser mencionar alguém em uma discussão sobre uma determinada seção.

3. Compartilhe seus insights e publique-os.

4. Uma notificação por email é disparada e o usuário clica no link Abrir Comentários para localizar rapidamente essa célula.

5. Além disso, autorize e configure as permissões para os usuários ao identificar ou marcar alguém que não tenha acesso, garantindo que seus recursos de código sejam bem gerenciados.

Histórico de versões

O histórico de versões permite que você visualize facilmente as alterações do notebook em tempo real. Ele dá suporte ao controle de histórico e ao gerenciamento de notebooks com recursos robustos de controle de versão internos, o que é especialmente útil para o trabalho colaborativo com vários colaboradores no mesmo notebook.

1. Acesse a versão histórico da barra de ferramentas global do notebook.

   

2. O Notebook dá suporte a duas maneiras de criar pontos de verificação.

   • Ponto de verificação manual: você pode criar uma nova versão manualmente para registrar seus marcos de desenvolvimento, proporcionando flexibilidade no gerenciamento das versões do notebook.

     

   • Ponto de verificação do sistema: esses pontos de verificação são criados automaticamente a cada 5 minutos com base no intervalo de tempo de edição pelo sistema Notebook, garantindo que seu trabalho seja salvo e tenha versão consistente. Você pode encontrar os registros de modificação de todos os colaboradores na lista de cronogramas de pontos de verificação do sistema.

3. Ponto de verificação de várias fontes para notebook

   Fabric notebooks se integram perfeitamente com o Git, com os pipelines de implantação e com o Visual Studio Code. Cada versão salva é capturada automaticamente no histórico de versões do notebook. As versões podem ter origem em edições diretas no notebook, sincronizações do Git, atividades de pipeline de implantação ou publicação por meio do VS Code. A origem de cada versão é claramente rotulada no histórico de versões para fornecer rastreabilidade completa.

   

4. Você pode clicar em um ponto de verificação para abrir a exibição dif, que destaca as diferenças de conteúdo entre o ponto de verificação selecionado e a versão dinâmica atual, incluindo as diferenças de conteúdo da célula, da saída da célula e dos metadados. A versão desse ponto de verificação pode ser gerenciada individualmente no menu "mais opções" .

   

5. Você pode gerenciar a versão no menu suspenso do checkpoint; caso deseje restaurar uma versão anterior, clique em restaurar para sobrescrever o notebook atual, ou use salvar como cópia para cloná-lo em um novo notebook.

   

Seletor de Modo Notebook

Fabric notebooks dão suporte a quatro modos que você pode alternar entre: Desenvolver, Somente Executar, Editar e Visualizar. Cada modo se alinha a um conjunto de permissões.

Ao compartilhar um bloco de anotações, você atribui permissões aos usuários. Com base nessas permissões, os usuários podem acessar e alternar entre os modos disponíveis para eles.

• Modo de desenvolvimento: requer permissões de leitura, execução e gravação.
• Modo somente execução: requer permissões de leitura e execução.
• Modo de edição: requer permissões de leitura e gravação (não é possível executar).
• Modo de exibição: requer permissões de leitura.

Permissões e acesso

As permissões podem ser definidas no nível do workspace ou do bloco de anotações em Microsoft Fabric. Eles determinam quais modos um usuário pode acessar:

• As permissões limitam o conjunto de modos disponíveis.
• Eles não selecionam automaticamente um modo para o usuário.
• Os modos não podem conceder recursos além do que as permissões permitem.

Conteúdo relacionado

• Criar e executar notebooks
• Visão geral do Copilot para Engenharia de Dados e Ciência de Dados
• Gerenciar bibliotecas em ambientes Fabric
• Diagnostique falhas em notebooks com o Copilot