modal-serverless-gpu
Serverless GPU cloud platform for running ML workloads. Use when you need on-demand GPU access without infrastructure management, deploying ML models as APIs, or running batch jobs with automatic scaling.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Serverless GPU cloud platform for running ML workloads. Use when you need on-demand GPU access without infrastructure management, deploying ML models as APIs, or running batch jobs with automatic scaling.
How to use
Zainstaluj Modal za pomocą pip install modal, a następnie uruchom modal setup, aby otworzyć przeglądarkę i uwierzytelnić się na koncie Modal.
Utwórz plik Pythona i zdefiniuj aplikację Modal, importując bibliotekę modal oraz tworząc instancję app = modal.App("nazwa-aplikacji").
Oznacz funkcje, które mają działać na GPU, dekoratorem @app.function(gpu="typ"), gdzie typ to nazwa procesora (np. "T4", "A100"). Wewnątrz funkcji napisz kod Pythona, który będzie wykonywany na wybranym GPU.
Dodaj punkt wejścia @app.local_entrypoint() z funkcją main(), która wywoła zdalne funkcje za pomocą .remote() — to uruchomi obliczeń w chmurze Modal.
Uruchom skrypt lokalnie (python nazwa_pliku.py) — Modal automatycznie przesyła kod do chmury, przydziela GPU i zwraca wynik.
Aby wdrożyć funkcję jako API REST, użyj dekoratora @app.web_endpoint() zamiast @app.function(), a Modal udostępni publiczny URL do wywoływania modelu bez czasów przestojów.