hugging-face-evaluation
Add and manage evaluation results in Hugging Face model cards. Supports extracting eval tables from README content, importing scores from Artificial Analysis API, and running custom model evaluations with vLLM/lighteval. Works with the model-index metadata format.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Add and manage evaluation results in Hugging Face model cards. Supports extracting eval tables from README content, importing scores from Artificial Analysis API, and running custom model evaluations with vLLM/lighteval. Works with the model-index metadata format.
How to use
Zainstaluj skill jako zależność w swoim projekcie Claude/Copilot, upewniając się, że masz Python 3.8+ i narzędzie uv do zarządzania środowiskiem.
Przed utworzeniem pull requesta sprawdź istniejące otwarte PRy w repozytorium, aby uniknąć duplikatów — jest to krok krytyczny przed użyciem flagi --create-pr.
Wybierz metodę dodania wyników ewaluacji: ekstrahuj istniejące tabele z README modelu, zaimportuj wyniki z API Artificial Analysis, lub uruchom własną ewaluację.
Dla ewaluacji niestandardowych z vLLM zainstaluj dodatkowe zależności (torch, transformers, accelerate, lighteval) — będą zainstalowane automatycznie jeśli używasz uv run ze skryptami PEP 723.
Skill zaktualizuje metadane model-index w formacie kompatybilnym z Papers with Code i leaderboardami Hugging Face.
Jeśli uruchamiasz ewaluacje na Hugging Face Jobs, skill obsługuje integrację z uv do zarządzania zależnościami i GPU inference przez vLLM.