Toolverse
All skills

adding-models

by letta-ai

Guide for adding new LLM models to Letta Code. Use when the user wants to add support for a new model, needs to know valid model handles, or wants to update the model configuration. Covers models.json configuration, CI test matrix, and handle validation.

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Author
letta-ai
Category
Testing
Views
5

About this skill

Guide for adding new LLM models to Letta Code. Use when the user wants to add support for a new model, needs to know valid model handles, or wants to update the model configuration. Covers models.json configuration, CI test matrix, and handle validation.

How to use

  1. Sprawdź dostępne identyfikatory modeli, wysyłając zapytanie do API Letta. Użyj curl do pobrania listy modeli: curl -s https://api.letta.com/v1/models/ | jq '.[] | .handle'. Możesz filtrować po dostawcy, np. select(.handle | startswith("anthropic/")) dla modeli Claude'a.

  2. Zidentyfikuj prawidłowy handle modelu z odpowiedzi API. Handle zawiera prefiks dostawcy (np. anthropic/, openai/, google_ai/) i nazwę modelu. Zanotuj pełną ścieżkę, którą będziesz używać w konfiguracji.

  3. Otwórz plik src/models.json w swoim projekcie Letta Code i dodaj nowy wpis dla modelu. Każdy wpis musi zawierać: id (krótki identyfikator do użytku z flagą --model), handle (pełna ścieżka z API), label (nazwa wyświetlana) i description (krótki opis).

  4. Skonfiguruj parametry modelu w sekcji updateArgs. Dodaj context_window (rozmiar okna kontekstu), temperature (kontrola losowości) i inne ustawienia specyficzne dla dostawcy. Opcjonalnie ustaw isFeatured na true, aby model pojawił się na liście wyróżnionych.

  5. Jeśli chcesz, aby model był testowany w pipeline'u CI, dodaj wpis do macierzy testów w pliku .github/workflows/ci.yml. Ten krok jest opcjonalny, ale zalecany dla modeli, które będą regularnie używane.

  6. Zweryfikuj swoją konfigurację, sprawdzając, czy plik JSON jest poprawnie sformatowany i czy wszystkie wymagane pola są wypełnione. Upewnij się, że handle modelu dokładnie odpowiada wartości zwróconej przez API Letta.

Related skills