zarr-python
Chunked N-D arrays for cloud storage. Compressed arrays, parallel I/O, S3/GCS integration, NumPy/Dask/Xarray compatible, for large-scale scientific computing pipelines.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Chunked N-D arrays for cloud storage. Compressed arrays, parallel I/O, S3/GCS integration, NumPy/Dask/Xarray compatible, for large-scale scientific computing pipelines.
How to use
Zainstaluj Zarr za pomocą menadżera pakietów: uruchom
uv pip install zarrw terminalu. Wymaga Python 3.11 lub nowszej wersji. Jeśli planujesz pracę z chmurą, zainstaluj dodatkowouv pip install s3fsdla Amazon S3 lubuv pip install gcsfsdla Google Cloud Storage.Utwórz nową tablicę wielowymiarową, definiując jej rozmiar, rozmiar chunków i typ danych. Na przykład:
zarr.create_array(store="data/my_array.zarr", shape=(10000, 10000), chunks=(1000, 1000), dtype="f4"). Chunki to części tablicy przechowywane osobno, co umożliwia równoległy dostęp i efektywne wykorzystanie pamięci.Wpisz dane do tablicy, korzystając ze składni indeksowania NumPy:
z[:, :] = np.random.random((10000, 10000)). Zarr automatycznie obsługuje kompresję i podział na chunki.Odczytaj dane z tablicy, wybierając interesujący Cię fragment:
data = z[0:100, 0:100]. Zwrócona wartość to tablica NumPy, którą możesz dalej przetwarzać.Aby pracować z istniejącą tablicą, otwórz ją za pomocą
zarr.open_array('data.zarr', mode='r+')dla trybu odczytu-zapisu lubmode='r'dla trybu tylko do odczytu. Funkcjazarr.open()automatycznie rozpoznaje, czy plik zawiera tablicę czy grupę tablic.