ark-chainsaw-testing

Run and write Ark Chainsaw tests with mock-llm. Use for running tests, debugging failures, or creating new e2e tests.

1. Zainstaluj skill w swoim projekcie Claude, upewniając się, że masz dostęp do repozytorium mckinsey/agents-at-scale-ark oraz zainstalowany Chainsaw.

2. Przejdź do katalogu testów i uruchom wszystkie standardowe testy poleceniem chainsaw test --selector 'standard', aby sprawdzić, czy środowisko jest poprawnie skonfigurowane.

3. Aby uruchomić konkretny test, użyj chainsaw test ./tests/nazwa-testu --fail-fast, co zatrzyma wykonanie przy pierwszym błędzie i ułatwi debugowanie.

4. W trybie debugowania uruchom test z flagami --skip-delete --pause-on-failure, aby zachować zasoby na serwerze i wznowić wykonanie po naprawie problemu.

5. Utwórz nowy test, tworząc katalog tests/moj-test/ ze strukturą: plik chainsaw-test.yaml (definicja testu), opcjonalnie mock-llm-values.yaml (konfiguracja mocków), README.md (dokumentacja) oraz katalog manifests/ z plikami YAML dla modelu, agenta i zapytania.

6. Dla testów z rzeczywistym LLM ustaw zmienne środowiskowe E2E_TEST_AZURE_OPENAI_KEY i E2E_TEST_AZURE_OPENAI_BASE_URL, następnie uruchom test standardowym poleceniem Chainsaw.