llm-evaluation

Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

1. Zainstaluj skill llm-evaluation w swoim środowisku agenta lub Claude'a, dodając go do listy dostępnych umiejętności.

2. Przygotuj zestaw testowy zawierający przykładowe wejścia, oczekiwane wyjścia oraz rzeczywiste odpowiedzi z Twojej aplikacji LLM, którą chcesz ocenić.

3. Wybierz metryki automatyczne odpowiednie do Twojego zadania: dla generowania tekstu (tłumaczenie, streszczanie) użyj BLEU, ROUGE lub BERTScore; dla klasyfikacji wybierz Accuracy, Precision, Recall lub F1; dla systemów RAG zastosuj MRR, NDCG lub Precision@K.

4. Uruchom ocenę automatyczną, aby uzyskać szybkie, powtarzalne wyniki. Skill obliczy wybrane metryki dla całego zestawu testowego i zwróci wyniki w postaci liczbowej.

5. Jeśli metryki automatyczne nie wystarczają, dodaj ocenę człowieka dla wymiarów takich jak dokładność faktyczna, spójność logiczna, trafność odpowiedzi, płynność języka lub bezpieczeństwo treści. Możesz też użyć mocniejszego modelu LLM jako sędziego do porównywania par odpowiedzi.

6. Porównaj wyniki między różnymi modelami, wersjami promptów lub konfiguracjami, aby zidentyfikować ulepszenia, wykryć regresje przed wdrożeniem i ustalić linie bazowe do śledzenia postępów w czasie.