trulens-instrumentation
Instrument LLM apps with TruLens OTEL-based tracing - from setup to debugging and optimization
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Instrument LLM apps with TruLens OTEL-based tracing - from setup to debugging and optimization
How to use
Wybierz framework, którego używasz w aplikacji — LangChain, LangGraph, LlamaIndex lub Custom. Każdy framework ma dedykowany wrapper (TruChain, TruGraph, TruLlama lub TruApp), który automatycznie instrumentuje komponenty aplikacji.
Zainstaluj TruLens i zintegruj odpowiedni wrapper z Twoją aplikacją. Dla frameworków wspieranych automatycznie (LangChain, LangGraph, LlamaIndex) wrapper zajmie się przechwytywaniem podstawowych śladów — wywołań LLM, węzłów grafu czy silników zapytań.
Określ, jakie dane chcesz przechwycić — czy to dane wejściowe użytkownika, odpowiedzi końcowe, czy inne atrybuty istotne dla wizualizacji i ewaluacji. Dodaj niestandardowe atrybuty do śladów za pomocą dekoratora @instrument() lub poprzez bezpośrednie ustawienie atrybutów na spanach.
Uruchom aplikację i weryfikuj, czy ślady są poprawnie generowane. Sprawdź, czy wszystkie istotne komponenty są instrumentowane i czy atrybuty zawierają oczekiwane dane.
Jeśli ewaluacje nie działają prawidłowo, sprawdź, czy brakuje wymaganych atrybutów w śladach. Dodaj brakujące dane do instrumentacji lub dostosuj nazwy spanów, aby były bardziej czytelne.
Optymalizuj to, co jest przechwytywane — usuń zbędne ślady, popraw nazwy spanów dla lepszej czytelności w dashboardzie i upewnij się, że wszystkie dane niezbędne do ewaluacji są dostępne.