dust-llm
Step-by-step guide for adding support for a new LLM in Dust. Use when adding a new model, or updating a previous one.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Step-by-step guide for adding support for a new LLM in Dust. Use when adding a new model, or updating a previous one.
How to use
Zbierz wymagane informacje o nowym modelu: dokładne ID modelu od dostawcy (np. gpt-4-turbo-2024-04-09), rozmiar okna kontekstu w tokenach, koszty za milion tokenów dla wejścia i wyjścia, obsługiwane możliwości (wizja, strukturyzowane wyjście, poziomy reasoning effort) oraz kompatybilny tokenizer do liczenia tokenów.
Edytuj plik konfiguracyjny modelu dla danego dostawcy (np. front/types/assistant/models/openai.ts), dodając stałą z ID modelu oraz obiekt konfiguracji zawierający providerId, modelId, displayName, contextSize, opis, informacje o obsługiwanych funkcjach i parametry reasoning effort.
Zaktualizuj plik front/lib/api/assistant/token_pricing.ts, dodając ceny za milion tokenów dla wejścia i wyjścia nowego modelu.
Zarejestruj model w centralnym rejestrze w pliku front/types/assistant/models/models.ts, aby był dostępny w całej aplikacji.
Dodaj model do routera whitelist w pliku front/lib/api/llm/clients/{provider}/types.ts oraz zaktualizuj typy SDK w sdks/js/src/types.ts.
Opcjonalnie: jeśli model powinien być dostępny w interfejsie użytkownika, dodaj go do front/components/providers/types.ts, a następnie dodaj test integracyjny w front/lib/api/llm/tests/llm.test.ts, aby upewnić się, że model działa poprawnie.