Robots.txt Генератор
Сгенерировать a robots.txt file for your website. Control crawler access, set crawl delay, and add sitemap URL.
Локальная обработкаRobots.txt Генератор
Как использовать
Введите свои данные выше. Результат обновляется автоматически. Используйте кнопку копирования, чтобы скопировать результат.
Конфиденциальность
Вся обработка происходит в вашем браузере. Ваши данные никогда не загружаются ни на один сервер.
Часто задаваемые вопросы
Что такое robots.txt?
Он сообщает поисковым роботам, к каким страницам они могут или не могут получить доступ.