robots.txt-Generator

Bots einzeln oder nach Gruppen erlauben oder sperren. Die Datei entsteht im Browser, nichts wird gesendet.

1 Kopf

Regeln für alle Bots (User-agent: *), bleiben unverändert WordPress-Regeln: /wp-admin/ sperren, admin-ajax.php erlauben Sitemap-Adressen, eine je Zeile Eigene Gruppen, werden unverändert angehängt

Vorhandene robots.txt einlesen

Inhalt einfügen

2 Grundregel

Grundregel Alles erlaubt, außer was ich sperre Alles gesperrt, außer was ich erlaube

3 Bots

Suche

Beachtet die robots.txt

Quelle A B C D