nemo-guardrails
NVIDIA's runtime safety framework for LLM applications. Features jailbreak detection, input/output validation, fact-checking, hallucination detection, PII filtering, toxicity detection. Uses Colang 2.0 DSL for programmable rails. Production-ready, runs on T4 GPU.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
NVIDIA's runtime safety framework for LLM applications. Features jailbreak detection, input/output validation, fact-checking, hallucination detection, PII filtering, toxicity detection. Uses Colang 2.0 DSL for programmable rails. Production-ready, runs on T4 GPU.
How to use
Zainstaluj pakiet NeMo Guardrails poleceniem pip install nemoguardrails w swoim środowisku Python.
Zdefiniuj konfigurację bezpieczeństwa za pomocą Colang 2.0 DSL — opisz wzorce niebezpiecznych pytań użytkownika (np. "How do I hack") i odpowiedzi bota, które powinny być blokowane (np. "I cannot help with illegal activities").
Utwórz obiekt RailsConfig z zawartością swojej konfiguracji, używając metody from_content() i przekazując tekst definicji przepływów.
Inicjalizuj LLMRails, przekazując skonfigurowany obiekt RailsConfig — to opakowuje Twój model i dodaje walidację w czasie rzeczywistym.
Zamiast wywoływać model bezpośrednio, użyj metody generate() na obiekcie rails, przekazując wiadomości użytkownika — framework automatycznie sprawdzi je względem zdefiniowanych reguł i zablokuje niebezpieczne zapytania lub odpowiedzi.