axolotl

Expert guidance for fine-tuning LLMs with Axolotl - YAML configs, 100+ models, LoRA/QLoRA, DPO/KTO/ORPO/GRPO, multimodal support

1. Zainstaluj wymagane zależności: axolotl, torch, transformers, datasets, peft, accelerate oraz deepspeed. Upewnij się, że masz dostęp do GPU i skonfigurowanego środowiska PyTorch.

2. Przygotuj konfigurację YAML dla swojego zadania dostrajania. Skill pomaga w definiowaniu parametrów modelu, rozmiaru batcha, algorytmu optymalizacji (LoRA, QLoRA, DPO) oraz strategii rozproszonego treningu.

3. Jeśli planujesz trenować na wielu GPU, skonfiguruj FSDP (Fully Sharded Data Parallel) w pliku YAML, ustawiając fsdp_version, offload_params i odpowiednią politykę zawijania warstw transformera.

4. Przed uruchomieniem pełnego treningu uruchom NCCL Tests, aby zweryfikować szybkość transferu danych między GPU i zidentyfikować wąskie gardła w komunikacji sieciowej.

5. Dostosuj context_parallel_size w zależności od liczby dostępnych GPU – wartość musi być dzielnikiem całkowitej liczby GPU. Parametr wpływa na rozmiar globalnego batcha i sposób przetwarzania sekwencji.

6. Włącz save_compressed: true w konfiguracji, aby zmniejszyć zajętość dysku o około 40% przy zachowaniu kompatybilności z vLLM do wnioskowania.