outlines

Guarantee valid JSON/XML/code structure during generation, use Pydantic models for type-safe outputs, support local models (Transformers, vLLM), and maximize inference speed with Outlines - dottxt.ai's structured generation library

1. Zainstaluj bibliotekę Outlines wraz z wybranym backendem. Dla modeli Hugging Face uruchom pip install outlines transformers, dla vLLM użyj pip install outlines vllm, a dla llama.cpp pip install outlines llama-cpp-python.

2. Zaimportuj Outlines i załaduj model — na przykład outlines.models.transformers("microsoft/Phi-3-mini-4k-instruct") dla modelu Phi-3 lub inny model z Hugging Face.

3. Dla prostych zadań klasyfikacji użyj outlines.generate.choice() z listą dozwolonych wartości. Przekaż model, listę opcji (np. ["positive", "negative", "neutral"]) i prompt, a generator zwróci jedno z tych słów.

4. Do bardziej złożonych struktur zdefiniuj klasę Pydantic z polami (np. name: str, age: int, email: str) i przekaż ją do generatora. Outlines automatycznie wymusi, aby wygenerowany tekst pasował do schematu.

5. Uruchom generator z promptem — funkcja zwróci tekst lub obiekt strukturalny zgodny z zdefiniowanymi ograniczeniami, bez ryzyka błędnego formatu.

6. Dla wysokiej wydajności wybierz backend vLLM, który obsługuje wiele żądań równocześnie i zachowuje szybkość generowania mimo wymuszenia struktury.