Toolverse
All skills

get-available-resources

by davila7

This skill should be used at the start of any computationally intensive scientific task to detect and report available system resources (CPU cores, GPUs, memory, disk space). It creates a JSON file with resource information and strategic recommendations that inform computational

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Author
davila7
Category
Data Science

About this skill

This skill should be used at the start of any computationally intensive scientific task to detect and report available system resources (CPU cores, GPUs, memory, disk space). It creates a JSON file with resource information and strategic recommendations that inform computational approach decisions such as whether to use parallel processing (joblib, multiprocessing), out-of-core computing (Dask, Zarr), GPU acceleration (PyTorch, JAX), or memory-efficient strategies. Use this skill before running analyses, training models, processing large datasets, or any task where resource constraints matter.

How to use

  1. Uruchom umiejętność na początku każdego zadania wymagającego dużej mocy obliczeniowej — przed analizą danych, treningiem modeli neuronowych, przetwarzaniem dużych zbiorów lub operacjami na plikach. Umiejętność automatycznie zeskanuje Twój system i zbierze informacje o dostępnych zasobach.

  2. Sprawdź wygenerowany plik JSON zawierający szczegółowe dane o liczbie rdzeni CPU, dostępności GPU (NVIDIA CUDA, AMD ROCm, Apple Silicon Metal), wielkości pamięci RAM i wolnym miejscu na dysku.

  3. Przeczytaj rekomendacje strategiczne zawarte w pliku — będą one wskazywać, czy powinieneś użyć przetwarzania równoległego (joblib, multiprocessing), przetwarzania poza pamięcią (Dask, Zarr), akceleracji GPU (PyTorch, JAX) czy innych strategii oszczędzających zasoby.

  4. Podejmij decyzje architektoniczne na podstawie otrzymanych rekomendacji — jeśli dataset jest zbyt duży na pamięć, użyj Dask; jeśli GPU jest dostępne, skonfiguruj PyTorch lub JAX; jeśli CPU ma wiele rdzeni, zwiększ liczbę workerów w przetwarzaniu równoległym.

  5. Przystąp do właściwego zadania (analiza, trening, przetwarzanie) z wiedzą o ograniczeniach i możliwościach Twojego systemu, co pozwoli uniknąć błędów braku pamięci i zoptymalizować wydajność.

Related skills