Bot Crawlability Tester
Prüfe die Erreichbarkeit deiner Website für über 147 verschiedene Bots. Crawlbarkeit (Crawlability) beschreibt, wie gut Webcrawler wie Googlebot, Bingbot oder KI-Crawler (GPTBot, ClaudeBot) auf deine Inhalte zugreifen können. Ein Tool zum Testen der Bot-Zugänglichkeit für SEO und GEO (Generative Engine Optimization).
Website-URL eingeben
Einstellungen
10s
Prüft ob Bots via robots.txt blockiert werden
Folgt HTTP-Redirects (301, 302)
War dieses Tool hilfreich?
Was testet dieses Tool?
Crawlability (Crawl-Barkeit) bezeichnet, ob und wie Suchmaschinen und Bots eine Webseite abrufen können. Manche Websites blockieren bestimmte Bots absichtlich oder versehentlich über robots.txt, Firewalls oder Server-Konfigurationen.
Der Bot Crawlability Tester prüft, ob deine Website für verschiedene Bots zugänglich ist:
- AI-Training Bots: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, etc.
- AI-Search Bots: PerplexityBot, ChatGPT-User, etc.
- Suchmaschinen: Googlebot, Bingbot, YandexBot, etc.
- Social Media: Facebookexternalhit, Twitterbot, LinkedInBot, etc.
- SEO Tools: AhrefsBot, SEMrushBot, MJ12bot, etc.
Das Tool prüft sowohl den direkten HTTP-Zugriff als auch die robots.txt-Regeln für jeden Bot.