Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von Bedeutung
DIE KI-Runtime für Einzelknotenaufgaben befindet sich in der öffentlichen Vorschau. Die verteilte Schulungs-API für Multi-GPU-Workloads verbleibt in der Betaversion.
Diese Seite enthält Notizbuchbeispiele für die Feinabstimmung großer Sprachmodelle (LLMs) mit AI Runtime. Diese Beispiele veranschaulichen verschiedene Ansätze zur Feinabstimmung, einschließlich parametereffizienter Methoden wie Low-Rank Adaption (LoRA) und vollständig überwachter Feinabstimmung.
| Tutorial | Beschreibung |
|---|---|
| Optimierung des Qwen2-0.5B-Modells | Optimieren Sie das Qwen2-0.5B-Modell effizient mit Transformator-Verstärkungslernen (TRL), Liger Kernels für speichereffizientes Training und LoRA für parametereffiziente Feinabstimmung. |
| Feinabstimmung von Llama-3.2-3B mit Unsloth | Feinabstimmung von Llama-3.2-3B mithilfe der Unsloth-Bibliothek. |
| Überwachte Feinabstimmung mit DeepSpeed und TRL | Verwenden Sie die Serverless GPU Python-API, um überwachte Feinabstimmungen (SFT) mithilfe der Transformer Reinforcement Learning (TRL)-Bibliothek mit DeepSpeed ZeRO Phase 3 Optimierung auszuführen. |
| LORA Feinabstimmung mit Axolotl | Verwenden Sie die Serverless-GPU-Python-API, um ein Olmo3-7B-Modell mithilfe der Axolotl-Bibliothek mit LORA feinzutunen. |
Video-Demo
Dieses Video beschreibt ausführlich das Beispielnotizbuch Llama-3.2-3B feinabstimmen mit Unsloth (12 Minuten).