coreml
Use when deploying custom ML models on-device, converting PyTorch models, compressing models, implementing LLM inference, or optimizing CoreML performance. Covers model conversion, compression, stateful models, KV-cache, multi-function models, MLTensor.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Use when deploying custom ML models on-device, converting PyTorch models, compressing models, implementing LLM inference, or optimizing CoreML performance. Covers model conversion, compression, stateful models, KV-cache, multi-function models, MLTensor.
How to use
Przygotuj model PyTorch — upewnij się, że model jest w trybie ewaluacji (model.eval()) i masz przykładowe dane wejściowe o prawidłowym kształcie, które będą użyte do śledzenia modelu.
Zainstaluj coremltools — biblioteka coremltools jest wymagana do konwersji; załaduj ją w swoim projekcie Python.
Śledzenie modelu — użyj torch.jit.trace() z przykładowymi danymi wejściowymi, aby utworzyć wersję modelu gotową do konwersji. To pozwala CoreML zrozumieć strukturę i przepływy danych.
Konwertuj do formatu CoreML — użyj ct.convert() z parametrem minimum_deployment_target ustawionym na najnowszą dostępną wersję iOS (np. iOS18), aby włączyć najnowsze optymalizacje i możliwości sprzętu.
Zapisz model — zapisz przekonwertowany model jako plik .mlpackage, który możesz zintegrować z aplikacją iOS.
Profiluj wydajność — zanim zaczniesz optymalizować kompresję lub cache, zmierz rzeczywisty czas wnioskowania na docelowym urządzeniu; optymalizuj tylko tam, gdzie dane pokazują wąskie gardła.