Bot Crawlability Tester
Teste wie gut deine Website für Suchmaschinen und KI-Bots erreichbar ist (Crawlbarkeit).
Website-URL eingeben
Einstellungen
Bot-Kategorien auswählen:
Timeout (Sekunden)
10sPrüft ob Bots via robots.txt blockiert werden
Folgt HTTP-Redirects (301, 302)
Was testet dieses Tool?
Crawlability (Crawl-Barkeit) bezeichnet, ob und wie Suchmaschinen und Bots eine Webseite abrufen können. Manche Websites blockieren bestimmte Bots absichtlich oder versehentlich über robots.txt, Firewalls oder Server-Konfigurationen.
Der Bot Crawlability Tester prüft, ob deine Website für verschiedene Bots zugänglich ist:
- AI-Training Bots: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, etc.
- AI-Search Bots: PerplexityBot, ChatGPT-User, etc.
- Suchmaschinen: Googlebot, Bingbot, YandexBot, etc.
- Social Media: Facebookexternalhit, Twitterbot, LinkedInBot, etc.
- SEO Tools: AhrefsBot, SEMrushBot, MJ12bot, etc.
Das Tool prüft sowohl den direkten HTTP-Zugriff als auch die robots.txt-Regeln für jeden Bot.
War dieses Tool hilfreich?