Scegliere tra i notebook Python e PySpark in Microsoft Fabric

Con l'introduzione di notebook Python leggeri in Microsoft Fabric, i clienti hanno ora due opzioni affidabili per la creazione e la scalabilità dei flussi di lavoro di analisi: Notebook Python e Notebook PySpark. Sebbene entrambi forniscano un'interfaccia notebook familiare, differiscono in modo significativo per la gestione delle risorse di calcolo, della scalabilità e dell'efficienza dei costi.

Fabric semplifica il processo di selezione o transizione tra tipi di notebook, consentendo ai professionisti dei dati di ottimizzare l'agilità, le prestazioni e il budget. Questa guida è progettata per valutare quale notebook è più adatto alle esigenze correnti e come evolvere l'approccio man mano che i carichi di lavoro aumentano di complessità e scalabilità. Il "pool di avvio" fornisce un contenitore di calcolo pre-riscaldamento che consente l'avvio quasi immediato per i notebook Python o PySpark.

Matrice di decisioni rapide - Scegliere veloce

Ideale per la selezione rapida in base al tipo di carico di lavoro.

Usare questo riferimento generale per determinare rapidamente il tipo di notebook più adatto per i modelli di carico di lavoro comuni. Questa tabella è ideale per la pianificazione iniziale e le revisioni dell'architettura.

Riepilogo rapido degli scenari chiave - Confronto approfondito

Usare questa tabella di confronto strutturata per comprendere i compromessi architetturali e operativi tra i tipi di notebook. Ideale per le valutazioni di progettazione o la pianificazione dell'implementazione.

Esecuzione e prestazioni

Flusso di lavoro e orchestrazione

Supporto della piattaforma e della libreria

Prontezza per la Produzione e l'Impresa

Considerazioni sul costo

Quando usare Python e PySpark Notebooks

I notebook Fabric offrono flessibilità per un'ampia gamma di utenti e carichi di lavoro. Questa sezione consente di valutare il tipo di notebook più adatto alle esigenze correnti e future.

Usare notebook Python per un'iterazione rapida, un'analisi conveniente e uno sviluppo interattivo. Sono ideali per set di dati più piccoli e includono il supporto nativo per librerie come DuckDB e Polars.

Usare Notebook PySpark per il calcolo distribuito, i flussi di lavoro ETL di livello di produzione o gli scenari in cui elevata concorrenza e le API native di Spark sono essenziali.

Scegliere Notebook Python quando:

• È necessario un avvio rapido (in genere entro pochi secondi) su un contenitore leggero a 2 core.
• Se ridurre al minimo i costi di calcolo è una priorità: per l'analisi interattiva o i micro-processi pianificati.
• Si vuole accedere immediatamente alle librerie installabili pip e a DuckDB e Polars preinstallati.
• È necessario eseguire il test in diverse versioni di runtime di Python.
• I dati si adattano comodamente alla memoria di un singolo nodo.

Scegliere Notebook PySpark Quando:

• I carichi di lavoro superano i limiti di memoria o calcolo di un singolo nodo.
• È necessario che i pool di concorrenza elevata eseguano lavori paralleli nei notebook.
• Stai orchestrando complessi pipeline ETL con la pianificazione FAIR o FIFO.
• Ci si basa su API native di Spark, ad esempio MLlib, Spark SQL o Spark Streaming.
• Sono necessarie funzionalità di livello di produzione, ad esempio variabili di ambiente e gestione delle librerie basate su elementi.

Differenze principali a colpo d'occhio - Riferimento conciso

Vedere Glossario alla fine di questa guida per le definizioni di termini come VORDER, NEE e Items-Based Library Management.

Questa sezione fornisce un riferimento rapido per le differenze tecniche e architetturali fondamentali tra i notebook Python e PySpark.

Evoluzione del carico di lavoro: da Python a PySpark

I Fabric Notebooks sono progettati per crescere mano a mano che aumenta la complessità del carico di lavoro. Questa sezione illustra come ridimensionare la strategia notebook dalla semplice esplorazione all'elaborazione dei dati distribuita.

Riassunto

I notebook Python supportano operazioni del kernel, ad esempio l'interruzione e il riavvio del kernel, che accelerano lo sviluppo interattivo. Sono ideali per l'analisi rapida e conveniente di set di dati di piccole e medie dimensioni ed eccellere nella creazione di prototipi, sperimentazione e attività pianificate leggere.

Con l'aumento del volume dei dati e della complessità, i notebook PySpark offrono le funzionalità di potenza di calcolo distribuite e di livello di produzione necessarie per l'analisi aziendale su larga scala. La scelta del notebook appropriato è un processo in continua evoluzione. Iniziare con l'opzione più semplice che soddisfa le esigenze correnti e la scalabilità man mano che aumenta il panorama dei dati.

Fare riferimento al glossario nella pagina finale per le spiegazioni di termini come NEE, VORDER e Las Vegas Cache.

Glossario dei termini

• Item-Based Gestione librerie: gestisce pacchetti versionati e librerie di produzione all'interno dell'elemento Environment.
• Compatibilità Delta Lake: supporto tra ambienti per le tabelle Delta; completamente supportato in PySpark.
• FAIR Scheduling: un criterio di pianificazione che alloca le risorse in modo equo tra i job Spark simultanei.
• Pianificazione FIFO: ordine di esecuzione First-In-First-Out per la programmazione dei lavori.
• NEE (Motore di esecuzione nativo): motore di query ottimizzato univoco per Fabric Spark.
• Pool di Spark: una risorsa di calcolo condivisa per l'esecuzione di carichi di lavoro Spark distribuiti.
• VORDER: ottimizzazione del fabric per i percorsi di esecuzione delle query vettorializzati.
• Accelerazione vettorializzata: elabora i dati in batch usando operazioni vettoriali per ottenere prestazioni più veloci.
• Vegas Cache: una cache in memoria che velocizza l'accesso ripetuto ai dati Spark.

Contenuti correlati

• Come usare i notebook di Microsoft Fabric
• Usare l'esperienza Python nel notebook
• Sviluppare, eseguire e gestire notebook di Microsoft Fabric
• Introduzione a Fabric NotebookUtils