create-environments

Create or migrate verifiers environments for the Prime Lab ecosystem. Use when asked to build a new environment from scratch, port an eval or benchmark from papers or other libraries, start from an environment on the Hub, or convert existing tasks into a package that exposes load_environment and installs cleanly with prime env install.

1. Zacznij od inicjalizacji nowego środowiska komendą prime env init my-env, a następnie zainstaluj je za pomocą prime env install my-env. Jeśli chcesz startować z istniejącego środowiska, wyszukaj je komendą prime env list --search "słowo kluczowe" i zainstaluj wybraną opcję.

2. Przed budowaniem środowiska od zera zdefiniuj kontrakt zadania: kształt promptu, dostępne narzędzia, warunki zatrzymania, format wyników rubryk i metryki ewaluacji. Wybierz odpowiednią klasę bazową – SingleTurnEnv dla zadań jednokrokowych, MultiTurnEnv dla pętli interakcji, ToolEnv lub MCPEnv dla narzędzi bezstanowych, StatefulToolEnv dla zasobów per-rollout.

3. Uruchom ewaluację komendą prime eval run my-env -m gpt-4.1-mini -n 5. Ta komenda jest kanonicznym sposobem ewaluacji i automatycznie zapisuje wyniki – nie dodawaj --skip-upload chyba że użytkownik wyraźnie tego zażąda.

4. Przed testowaniem wybierz typ modelu: dla smoke testów preferuj modele instruct (seria gpt-4.1, qwen3 instruct), dla walidacji z rozumowaniem użyj gpt-5, qwen3 thinking lub glm.

5. Przechowuj aliasy endpointów w pliku configs/endpoints.toml, aby smoke testy mogły szybko przełączać się między modelami bez ręcznych zmian konfiguracji.