rwkv-architecture
RNN+Transformer hybrid with O(n) inference. Linear time, infinite context, no KV cache. Train like GPT (parallel), infer like RNN (sequential). Linux Foundation AI project. Production at Windows, Office, NeMo. RWKV-7 (March 2025). Models up to 14B parameters.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
RNN+Transformer hybrid with O(n) inference. Linear time, infinite context, no KV cache. Train like GPT (parallel), infer like RNN (sequential). Linux Foundation AI project. Production at Windows, Office, NeMo. RWKV-7 (March 2025). Models up to 14B parameters.
How to use
Zainstaluj PyTorch z obsługą CUDA: pip install torch --upgrade --extra-index-url https://download.pytorch.org/whl/cu121
Zainstaluj zależności: pip install pytorch-lightning==1.9.5 deepspeed wandb ninja --upgrade
Zainstaluj bibliotekę RWKV: pip install rwkv
Pobierz wstępnie wytrenowany model (np. RWKV-4-Pile-14B) i ustaw ścieżkę w kodzie.
Załaduj model w Pythonie, ustawiając zmienne środowiskowe RWKV_JIT_ON=1 i RWKV_CUDA_ON=1 dla przyspieszenia, następnie inicjalizuj RWKV z wybraną strategią (np. 'cuda fp16').
Użyj modelu w trybie GPT (przetwarzanie równoległe wielu tokenów) lub RNN (sekwencyjne przetwarzanie token po tokenie) — obie metody dają identyczne wyniki logitów, ale RNN jest bardziej efektywny dla generowania tekstu w czasie rzeczywistym.