Robots.txt-Generator

Über dieses Tool

Erstellt eine robots.txt aus einer Liste von Regelgruppen. Fügen Sie pro User-Agent eine Gruppe hinzu (oder verwenden Sie * für alle Crawler).