Toolverse
All skills

rag-engineer

by davila7

Expert in building Retrieval-Augmented Generation systems. Masters embedding models, vector databases, chunking strategies, and retrieval optimization for LLM applications. Use when: building RAG, vector search, embeddings, semantic search, document retrieval.

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Author
davila7
Category
Data Science
Views
15

About this skill

Expert in building Retrieval-Augmented Generation systems. Masters embedding models, vector databases, chunking strategies, and retrieval optimization for LLM applications. Use when: building RAG, vector search, embeddings, semantic search, document retrieval.

How to use

  1. Zainstaluj umiejętność rag-engineer w swoim środowisku Claude lub kompatybilnym systemie agenta. Upewnij się, że masz dostęp do dokumentacji modeli embeddingów i podstawową wiedzę o NLP.

  2. Przygotuj swoje dokumenty do indeksowania, stosując semantic chunking — dziel tekst na fragmenty oparte na znaczeniu, a nie na arbitralnych limitach tokenów. Zachowaj strukturę dokumentu (nagłówki, paragrafy) i dodaj metadane dla przyszłego filtrowania.

  3. Wygeneruj embeddingi dla każdego fragmentu dokumentu, wybierając odpowiedni model embeddingów. Przechowuj je w bazie wektorowej, która wspiera wyszukiwanie podobieństwa.

  4. Zaimplementuj wyszukiwanie hybrydowe, łączące wyszukiwanie semantyczne (przez podobieństwo wektorów) z wyszukiwaniem słów kluczowych (BM25/TF-IDF). Użyj Reciprocal Rank Fusion do połączenia wyników z obu podejść.

  5. Optymalizuj okno kontekstu, testując różne rozmiary fragmentów i strategie retrieval. Rozważ hierarchiczne wyszukiwanie — indeksuj dokumenty na wielu poziomach (paragraf, sekcja, dokument) i wykonaj dwuetapową retrieval dla lepszej precyzji.

  6. Ewaluuj jakość retrieval przed wdrożeniem — garbage in, garbage out. Upewnij się, że fragmenty zwracane przez system rzeczywiście zawierają odpowiedzi na pytania użytkowników.

Related skills