Toolverse
All skills

aoti-debug

by pytorch

Debug AOTInductor (AOTI) errors and crashes. Use when encountering AOTI segfaults, device mismatch errors, constant loading failures, or runtime errors from aot_compile, aot_load, aoti_compile_and_package, or aoti_load_package.

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Author
pytorch
Category
Backend
Views
4

About this skill

Debug AOTInductor (AOTI) errors and crashes. Use when encountering AOTI segfaults, device mismatch errors, constant loading failures, or runtime errors from aot_compile, aot_load, aoti_compile_and_package, or aoti_load_package.

How to use

  1. Uruchom tę umiejętność, gdy napotkasz błąd AOTInductor — segfault, wyjątek, awarię lub nieprawidłowy wynik. 2. Sprawdź komunikat błędu: jeśli zawiera wzorzec "Assertion `index out of bounds", postępuj zgodnie z przewodnikiem dla błędu indeksu Triton. W pozostałych przypadkach przejdź do kroku 3. 3. Zawsze najpierw zweryfikuj trzy warunki: (a) urządzenie kompilacji musi być tego samego typu co urządzenie ładowania (CPU lub CUDA), (b) urządzenia wejść runtime'u muszą zgadzać się z urządzeniem skompilowanego modelu, (c) kształty wejść runtime'u muszą odpowiadać kształtom użytym podczas kompilacji. 4. Sprawdź swój kod kompilacji — zanotuj typ urządzenia (CPU czy cuda()) i kształty tensorów wejściowych przekazanych do aot_compile. 5. Sprawdź kod ładowania — upewnij się, że aot_load używa tego samego typu urządzenia co kompilacja, indeks urządzenia może się różnić. 6. Sprawdź kod wnioskowania — przekaż wejścia na to samo urządzenie i z tymi samymi kształtami co podczas kompilacji. Jeśli którykolwiek z tych warunków nie jest spełniony, otrzymasz błędy od segfaultów po wyjątki i nieprawidłowe wyniki.

Related skills