sentencepiece

Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms. Fast (50k sentences/sec), lightweight (6MB memory), deterministic vocabulary. Used by T5, ALBERT, XLNet, mBART. Train on raw text without pre-tokenization. Use when you need multilingual support, CJK languages, or reproducible tokenization.

1. Zainstaluj SentencePiece za pomocą pip: uruchom polecenie pip install sentencepiece w terminalu. Upewnij się, że masz zainstalowany Python 3.6 lub nowszy.

2. Przygotuj plik tekstowy zawierający dane treningowe (np. data.txt). Tekst powinien być surowy – SentencePiece sam obsługuje Unicode i nie wymaga wstępnego tokenizowania ani czyszczenia.

3. Wytrenuj model tokenizera za pomocą API Pythona: zaimportuj moduł sentencepiece, a następnie użyj SentencePieceTrainer.train() z parametrami: input='data.txt' (ścieżka do pliku), model_prefix='m' (prefiks nazwy modelu), vocab_size=8000 (rozmiar słownika – dostosuj do swoich potrzeb) i model_type='bpe' (algorytm BPE dla większości przypadków).

4. Po treningu otrzymasz dwa pliki: m.model (wytrenowany model) i m.vocab (słownik). Przechowuj je w bezpiecznym miejscu – będą potrzebne do tokenizacji.

5. Załaduj model i tokenizuj nowy tekst: zaimportuj sentencepiece, otwórz model poleceniem spm.SentencePieceProcessor() i metodą load() wskaż ścieżkę do m.model, następnie użyj encode() do konwersji tekstu na tokeny lub decode() do odwrotnej operacji.

6. Jeśli pracujesz z wieloma językami lub językami CJK, nie zmieniaj ustawień domyślnych – SentencePiece automatycznie obsługuje wszystkie znaki Unicode bez dodatkowej konfiguracji.