peft-fine-tuning

Parameter-efficient fine-tuning for LLMs using LoRA, QLoRA, and 25+ methods. Use when fine-tuning large models (7B-70B) with limited GPU memory, when you need to train u003c1% of parameters with minimal accuracy loss, or for multi-adapter serving. HuggingFace's official library integrated with transformers ecosystem.

1. Zainstaluj bibliotekę PEFT wraz z zależnościami: uruchom pip install peft transformers accelerate bitsandbytes datasets. Opcjonalnie dodaj bitsandbytes dla wsparcia kwantyzacji, jeśli planujesz pracować z modelami 70B na GPU z 24GB pamięci.

2. Załaduj bazowy model i tokenizer z HuggingFace Hub, na przykład Llama 3.1 8B lub inny model obsługiwany przez bibliotekę transformers.

3. Skonfiguruj LoRA poprzez LoraConfig, określając parametry takie jak ranga (rank), współczynnik skalowania (lora_alpha) i warstwy docelowe. Dla większości przypadków domyślne wartości działają dobrze.

4. Owinięcie modelu w get_peft_model() aktywuje dostrajanie efektywne — model będzie trenować tylko adaptery, a nie wszystkie wagi.

5. Przygotuj swój zbiór danych (własny lub z biblioteki datasets) i uruchom trening za pomocą Trainer z TrainingArguments. Określ liczbę epok, rozmiar batcha i ścieżkę zapisu.

6. Po treningu zapisz adapter (model.save_pretrained()) — zajmie on kilka MB. Możesz załadować go później i łączyć z bazowym modelem do wnioskowania lub dalszego dostrajania dla innych zadań.