Der Mähdrescher vor dem Schaufenster: So zähmst du KI-Crawler

Stimme jetzt für goneo ab beim Webhoster des Jahres 2026 – nur noch bis 18. Oktober: https://www.hosttest.de/wahl/goneo goneo Webmacher & Webprofessionals Podcast – jeden Freitagabend mit Pains & Gains für Webseitenbetreiber und alle, die sonst aktiv im Internet sind. Montagnacht, 3:17 Uhr. In deinem Shop ist kein einziger Kunde – aber hunderte Maschinen. Sie lesen Seite zwölf deiner Schlagwort-Liste, zum vierten Mal in dieser Nacht. Um 3:19 Uhr gibt dein Server auf. KI-Crawler komplett aussperren geht mit einer einzigen Zeile. Nur: Dann bist du auch für ChatGPT, Perplexity und Google unsichtbar. In Episode 158 löst Markus das Dilemma, das ihm ein Tischlermeister aus Ostwestfalen geschickt hat: Wie stoppst du den Mähdrescher, ohne dass dein Schaufenster dunkel wird? Markus sortiert die nächtlichen Besucher in drei Gruppen – Trainings-Crawler, Suchhelfer und Agenten –, erklärt am Beispiel einer Restaurantküche, warum Bots deine Datenbank in die Knie zwingen, und erzählt echte Fälle: den Onlineshop mit sieben Mitarbeitenden, den ein KI-Crawler lahmlegte, die Reparatur-Plattform iFixit mit fast einer Million Bot-Besuchen an einem Tag und den Bot, der sich nach einer Sperre als ganz normaler Chrome-Browser verkleidete. Dazu drei Handgriffe, die du ohne Programmierkenntnisse erledigen kannst. Kapitelmarken: 00:00 Cold Talk, Opener & der Mähdrescher vor dem Schaufenster 06:19 Wer klopft da? Trainings-Crawler, Suchhelfer und Agenten 10:55 Was auf deinem Server passiert 14:17 Pain-Analyse 15:12 Survival Guide: Drei Handgriffe – Hausordnung, Vorkochen, Visitenkarte 19:10 Drei News in drei Minuten: US-Gericht weist Klagen gegen Googles KI-Zusammenfassungen ab, Google mit neuem Anti-Spam-Update, der Autor von „Silo“ im Board von Automattic 22:10 Wo wir landen: Dein 10-Minuten-Audit Zum Kopieren – die modellhafte Hausordnung (robots.txt) aus der Folge: Dies ist einzelfall- und umgebungsabhängig, also prüfen! Nutzung auf eigene Verantwortung. # Trainings-Crawler User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: Bytespider Disallow: / # Such- und Zitier-Crawler User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: PerplexityBot Disallow: /tag/ Disallow: /?s= Disallow: /search/ # Alle anderen (inkl. Googlebot, Bingbot) User-agent: * Disallow: /tag/ Disallow: /?s= Disallow: /search/ Pfade an deine eigene Permalink-Struktur anpassen. Wichtig: Googlebot nicht aussperren – sonst verschwindest du aus der Google-Suche. Links zur Episode: - Webhoster des Jahres 2026 – Jetzt abstimmen: https://www.hosttest.de/wahl/goneo - Folge 152 „Der nächste Kunde ist kein Mensch“: https://social.goneo.de/podcast-2/ - OpenAI: Übersicht der Crawler: https://developers.openai.com/api/docs/bots - Cloudflare: Crawl-to-Click-Daten zu KI-Bots: https://blog.cloudflare.com/crawlers-click-ai-bots-training/ - Cloudflare: Perplexity und die getarnten Crawler: https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/ - TechCrunch: Wie ein KI-Bot den Shop von Triplegangers lahmlegte: https://techcrunch.com/2025/01/10/how-openais-bot-crushed-this-seven-person-companys-web-site-like-a-ddos-attack/ - News 1 – Klagen gegen Google AI Overviews abgewiesen: https://seroundtable.com/google-ai-overview-lawsuit-dismissed-42211.html - News 2 – Google September 2026 Spam Update: https://www.searchenginejournal.com/google-september-2026-spam-update/590828/ - News 3 – Automattic, Mullenweg und das neue Board: https://runtimewire.com/article/automattic-new-board-mullenweg-2026 - goneo Blog & Social Hub: https://social.goneo.de