Генератор robots.txt

Об этом инструменте

Собирает robots.txt из списка групп правил. Добавьте группу для каждого user-agent (или используйте * для всех краулеров).