Toolverse
All skills
Testing

langsmith-observability

by davila7

LLM observability platform for tracing, evaluation, and monitoring. Use when debugging LLM applications, evaluating model outputs against datasets, monitoring production systems, or building systematic testing pipelines for AI applications.

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Author
davila7
Category
Testing
Views
29
GitHub repo

About this skill

LLM observability platform for tracing, evaluation, and monitoring. Use when debugging LLM applications, evaluating model outputs against datasets, monitoring production systems, or building systematic testing pipelines for AI applications.

How to use

  1. Zainstaluj pakiet LangSmith poleceniem pip install langsmith. Następnie ustaw zmienne środowiskowe: LANGSMITH_API_KEY z twoim kluczem API oraz LANGSMITH_TRACING na wartość true, aby włączyć automatyczne śledzenie.

  2. Ozdób funkcję, która wywołuje model, dekoratorem @traceable z biblioteki langsmith. Dzięki temu każde wywołanie LLM będzie automatycznie rejestrowane z inputami, outputami i opóźnieniami.

  3. Uruchom aplikację normalnie. LangSmith będzie w tle zbierać dane o wszystkich wywołaniach modelu i wysyłać je do platformy.

  4. W dashboardzie LangSmith przejrzyj ślady (traces) swoich aplikacji. Sprawdź czasy wykonania, użycie tokenów i koszty dla każdego kroku łańcucha.

  5. Stwórz zestawy testowe z rzeczywistych danych produkcyjnych lub ręcznie. Uruchom ewaluatory wbudowane lub własne, aby systematycznie testować jakość outputów modelu.

  6. Skonfiguruj monitorowanie dla systemów w produkcji, aby śledzić błędy, anomalie i trendy w metrikach. Współpracuj z zespołem, dzieląc się wynikami i iterując nad promptami.

Related skills

ad-creative

by alirezarezvani

When the user needs to generate, iterate, or scale ad creative for paid advertising. Use when they say 'write ad copy,' 'generate headlines,' 'create ad variations,' 'bulk creative,' 'iterate on ads,' 'ad copy validation,' 'RSA headlines,' 'Meta ad copy,' 'LinkedIn ad,' or

Testing
2863

pair-trade-screener

by tradermonty

Statistical arbitrage tool for identifying and analyzing pair trading opportunities. Detects cointegrated stock pairs within sectors, analyzes spread behavior, calculates z-scores, and provides entry/exit recommendations for market-neutral strategies. Use when user requests pair

Testing
994

lean4-theorem-proving

by cameronfreer

Use when developing Lean 4 proofs, facing type class synthesis errors, managing sorries/axioms, or searching mathlib - provides build-first workflow, instance management patterns (haveI/letI), and domain-specific tactics

Testing
9108

hono

by openstatusHQ

Efficiently develop Hono applications using Hono CLI. Supports documentation search, API reference lookup, request testing, and bundle optimization.

Testing
1257

playwright-cli

by microsoft

Automates browser interactions for web testing, form filling, screenshots, and data extraction. Use when the user needs to navigate websites, interact with web pages, fill forms, take screenshots, test web applications, or extract information from web pages.

Testing
45103

langchain

by zechenzhangAGI

Framework for building LLM-powered applications with agents, chains, and RAG. Supports multiple providers (OpenAI, Anthropic, Google), 500+ integrations, ReAct agents, tool calling, memory management, and vector store retrieval. Use for building chatbots, question-answering

Testing
21123