Toolverse
All skills

langfuse-cost-tuning

by jeremylongshore

Monitor and optimize LLM costs using Langfuse analytics and dashboards.\nUse when tracking LLM spending, identifying cost anomalies,\nor implementing cost controls for AI applications.\nTrigger with phrases like \

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Category
Security

About this skill

Monitor and optimize LLM costs using Langfuse analytics and dashboards.\nUse when tracking LLM spending, identifying cost anomalies,\nor implementing cost controls for AI applications.\nTrigger with phrases like \

How to use

  1. Upewnij się, że w projekcie masz zainstalowany Langfuse z włączonym śledzeniem tokenów. Jeśli używasz OpenAI, zainstaluj wrapper observeOpenAI z pakietu @langfuse/openai — automatycznie będzie rejestrować tokeny, model i koszty każdego wywołania.

  2. Jeśli śledzisz modele niestandardowe, skonfiguruj ich ceny w panelu Langfuse: przejdź do Settings > Model Definitions i dodaj definicje kosztów dla swoich modeli.

  3. Uruchom skill, wyzwalając go frazami takimi jak "langfuse costs", "LLM spending", "track AI costs" lub "optimize LLM budget". Skill będzie analizować zebrane dane o użyciu tokenów.

  4. Przejrzyj dashboardy Langfuse, aby zobaczyć całkowite wydatki, koszt na obserwację i trendy w czasie. Identyfikuj wywołania, które pochłaniają największą część budżetu.

  5. Użyj Metrics API (wymaga @langfuse/client) do programowego dostępu do danych kosztowych — możesz zbudować własne alerty lub raporty na bazie tych metryk.

  6. Wdrażaj optymalizacje: zmień routing modeli na tańsze warianty, zmniejsz długość promptów lub ustaw automatyczne alerty budżetowe w Langfuse, aby być powiadamiany o anomaliach.

Related skills