Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Il runtime di intelligenza artificiale per le attività a nodo singolo è disponibile in anteprima pubblica. L'API di training distribuita per i carichi di lavoro con più GPU rimane in beta.
Questa pagina fornisce esempi di notebook per ottimizzare i modelli di linguaggio di grandi dimensioni usando AI Runtime. Questi esempi illustrano vari approcci all'ottimizzazione, inclusi metodi efficienti per i parametri, ad esempio Low-Rank Adaptation (LoRA) e l'ottimizzazione completa con supervisione.
| Tutoriale | Descrizione |
|---|---|
| Ottimizzare il modello Qwen2-0.5B | Ottimizzare in modo efficiente il modello Qwen2-0.5B utilizzando l'apprendimento con rinforzo tramite Transformer (TRL), i kernel Liger per un addestramento efficiente in termini di memoria e LoRA per una messa a punto efficiente dei parametri. |
| Ottimizzare Llama-3.2-3B con Unsloth | Ottimizzare Llama-3.2-3B usando la libreria Unsloth. |
| Ottimizzazione con supervisione con DeepSpeed e TRL | Usare l'API Python gpu serverless per eseguire l'ottimizzazione con supervisione (SFT) usando la libreria TRL (Transformer Reinforcement Learning) con l'ottimizzazione DeepSpeed ZeRO Stage 3. |
| Ottimizzazione di LORA con Axolotl | Usare l'API Python della GPU serverless per ottimizzare un modello 7B di Olmo3 usando la libreria Axolotl. |
Video dimostrativo
Questo video illustra in dettaglio il notebook di esempio Ottimizzare Llama-3.2-3B con Unsloth (12 minuti).