huggingface-accelerate

Simplest distributed training API. 4 lines to add distributed support to any PyTorch script. Unified API for DeepSpeed/FSDP/Megatron/DDP. Automatic device placement, mixed precision (FP16/BF16/FP8). Interactive config, single launch command. HuggingFace ecosystem standard.

1. Zainstaluj bibliotekę poleceniem pip install accelerate. Upewnij się, że masz zainstalowane PyTorch i transformers.

2. Otwórz swój istniejący skrypt treningowy PyTorch. Na początku dodaj import: from accelerate import Accelerator, a następnie utwórz instancję: accelerator = Accelerator().

3. Zastąp ręczne przenoszenie modelu na GPU linią model, optimizer, dataloader = accelerator.prepare(model, optimizer, dataloader). Ta funkcja automatycznie obsługuje umieszczanie na właściwych urządzeniach.

4. W pętli treningowej zmień loss.backward() na accelerator.backward(loss). To zapewnia prawidłową synchronizację gradientów w środowisku rozproszonym.

5. Uruchom skrypt poleceniem accelerate launch train.py. Accelerate automatycznie wykryje dostępne GPU i skonfiguruje rozproszone trenowanie bez dodatkowych parametrów.

6. Jeśli potrzebujesz dostosować konfigurację (liczba GPU, typ mieszanej precyzji), uruchom accelerate config przed pierwszym treningiem — narzędzie interaktywnie poprowadzi Cię przez ustawienia.