domain-ml
Use when building ML/AI apps in Rust. Keywords: machine learning, ML, AI, tensor, model, inference, neural network, deep learning, training, prediction, ndarray, tch-rs, burn, candle, 机器学习, 人工智能, 模型推理
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Use when building ML/AI apps in Rust. Keywords: machine learning, ML, AI, tensor, model, inference, neural network, deep learning, training, prediction, ndarray, tch-rs, burn, candle, 机器学习, 人工智能, 模型推理
How to use
Zidentyfikuj swój przypadek użycia: czy potrzebujesz tylko wnioskowania modelu, czy też trenowania i wnioskowania razem, czy pracujesz z modelami PyTorch, czy przetwarzasz duże zbiory danych.
Wybierz odpowiedni framework na podstawie tabeli w skill'u — tract (ONNX) do lekkich aplikacji inferencyjnych, candle lub burn do czystego Rust'a z obsługą GPU, tch-rs jeśli masz już modele PyTorch, polars do szybkich potoków danych z leniwą ewaluacją.
Zaplanuj architekturę pamiętając o trzech krytycznych ograniczeniach: unikaj kopiowania dużych tensorów (używaj referencji i operacji in-place), grupuj operacje w partie dla efektywności GPU, załaduj modele w standardowych formatach (ONNX) aby trenować w Pythonie i wdrażać w Rust'ie.
Dodaj wybraną bibliotekę do pliku Cargo.toml swojego projektu — na przykład tract dla ONNX, candle dla GPU z czystym Rust'em, lub tch-rs jeśli chcesz bezpośrednie powiązania z PyTorch.
Zaimplementuj potok danych używając rekomendowanych wzorców: streaming i batching dla dużych zbiorów, asynchroniczne ładowanie danych dla GPU, inicjalizacja leniwa i cachowanie modeli aby zoptymalizować cykl życia aplikacji.