trulens-evaluation-setup
Configure feedback functions and selectors for TruLens evaluations
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Configure feedback functions and selectors for TruLens evaluations
How to use
Zainstaluj skill TruLens Evaluation Setup w swoim środowisku pracy. Narzędzie będzie dostępne jako umiejętność do konfiguracji ewaluacji.
Uruchom interaktywny przewodnik wyboru. Odpowiedz na pytanie: jaki typ aplikacji budujesz? Wybierz opcję A dla systemów RAG (aplikacje pobierające dokumenty i generujące odpowiedzi na ich podstawie) lub opcję B dla agentów (aplikacje używające narzędzi do wykonania zadań).
Jeśli wybrałeś agenta, odpowiedz na drugie pytanie: czy Twój agent tworzy plany przed wykonaniem akcji? Na podstawie odpowiedzi otrzymasz listę rekomendowanych metryk — z metrykami planu (Plan Quality, Plan Adherence) lub bez nich.
Rozważ dodatkowe ewaluacje dostępne w tabeli sugestii. Wybierz metryki takie jak Coherence (spójność odpowiedzi) lub Conciseness (zwięzłość) jeśli są istotne dla Twojego przypadku użycia.
Skonfiguruj funkcje zwrotne i selektory zgodnie z wybranym zestawem metryk. Narzędzie umożliwia powiązanie każdej metryki z odpowiednimi komponentami aplikacji (np. pobranymi dokumentami, wygenerowanymi odpowiedziami, wykonanymi akcjami).
Zastosuj konfigurację w swoim systemie ewaluacji TruLens i rozpocznij zbieranie danych o jakości aplikacji LLM.