arize-phoenix

Open-source AI observability platform for tracing, evaluating, and improving LLM applications with OpenTelemetry integration

1. Zainstaluj Phoenix jako skill w swoim środowisku agenta. Narzędzie wymaga integracji z OpenTelemetry, więc upewnij się, że Twoja aplikacja AI wysyła traces do platformy.

2. Skonfiguruj tracing dla Twoich LLM calls, tool executions i operacji retrieval. Phoenix automatycznie zbiera szczegółowe informacje o każdym kroku wykonania aplikacji — od promptów po odpowiedzi modelu.

3. Zdefiniuj ewaluatory do pomiaru jakości outputów. Możesz użyć wbudowanych ewaluatorów opartych na LLM-as-a-judge lub napisać własną logikę oceny w kodzie, aby mierzyć metryki istotne dla Twojego przypadku użycia.

4. Iteruj nad promptami, korzystając z rzeczywistych przykładów z produkcji. Phoenix umożliwia testowanie wariantów promptów i porównywanie ich wydajności na tych samych danych.

5. Uruchamiaj eksperymenty porównujące różne wersje aplikacji — zmieniane modele, architektury lub strategie. Platforma wspiera analizę wyników i identyfikację najlepszych konfiguracji.

6. Monitoruj metryki produkcyjne takie jak koszty tokenów, latencja i wskaźniki błędów. Buduj datasety z traces do dalszego fine-tuningu modeli lub ewaluacji.