Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Problem-solving strategies for entropy in information theory
How to use
Zidentyfikuj typ problemu entropii: czy pracujesz z entropią Shannona (rozkład dyskretny), entropią warunkową, czy entropią różniczkową (rozkład ciągły). Umiejętność zawiera decyzyjne drzewo dla każdego przypadku.
Dla entropii dyskretnej użyj narzędzia SciPy. Przygotuj wektor prawdopodobieństw p (na przykład [0.25, 0.25, 0.25, 0.25] dla rozkładu jednostajnego) i uruchom polecenie: uv run python -c "from scipy.stats import entropy; p = [wartości]; H = entropy(p, base=2); print('Entropy:', H, 'bits')". Wynik H to entropia w bitach.
Dla rozbieżności Kullbacka-Leiblera między dwoma rozkładami p i q uruchom: uv run python -c "from scipy.stats import entropy; kl = entropy(p, q); print('KL divergence:', kl)". To mierzy różnicę między rozkładami.
Dla entropii ciągłej lub wyrażeń symbolicznych użyj SymPy. Uruchom: uv run python -m runtime.harness scripts/sympy_compute.py simplify "-p*log(p, 2) - (1-p)*log(1-p, 2)" aby obliczyć entropię binarną lub dostosuj wyrażenie do swojego problemu.
Sprawdź właściwości entropii: entropia jest zawsze nieujemna, maksymalna dla rozkładu jednostajnego, a dla rozkładu Gaussa można użyć wzoru h(X) = 0.5 * log2(2pie*sigma^2). Umiejętność zawiera pełne wzory dla entropii łącznej i warunkowej.