site-architecture
Technical SEO - robots.txt, sitemap, meta tags, Core Web Vitals
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Technical SEO - robots.txt, sitemap, meta tags, Core Web Vitals
How to use
Załaduj skill razem z plikami base.md i web-content.md w swoim projekcie Claude. Skill automatycznie monitoruje pliki robots.txt, sitemap, HTML oraz katalog public/.
Utwórz lub edytuj plik robots.txt w głównym katalogu strony. Zacznij od szablonu podstawowego, który zezwala na crawlowanie wszystkich stron i definiuje lokalizację sitemapy.
Skonfiguruj reguły dla wyszukiwarek tradycyjnych (Googlebot, Bingbot) — domyślnie powinny mieć dostęp do całej zawartości publicznej. Zablokuj ścieżki wrażliwe, takie jak /api/, /admin/ czy /private/.
Dodaj sekcję dla botów AI (GPTBot, ClaudeBot, PerplexityBot, Amazonbot). Zdecyduj, czy chcesz zezwolić na crawlowanie dla obu celów (indeksowanie i trening modeli) czy tylko dla cytowania w odpowiedziach chatbota. Jeśli chcesz blokować trening, skomentuj odpowiednie linie User-agent.
Zablokuj znane scrapery i boty konkurencyjne (AhrefsBot, SemrushBot) aby chronić swoje zasoby przed nieautoryzowanym dostępem.
Upewnij się, że plik sitemap.xml jest dostępny i zawiera wszystkie ważne strony. Skill będzie weryfikować poprawność konfiguracji na podstawie monitorowanych ścieżek.