Robots.txt — что это и как настроить для SEO

Robots.txt — это текстовый файл в корне сайта, который указывает поисковым роботам (например, Googlebot или YandexBot), какие страницы или папки можно сканировать, а какие — нет.

Это один из ключевых элементов технического SEO, без которого даже идеальный контент может остаться незамеченным.

Файл robots.txt помогает контролировать, какие части сайта поисковики могут сканировать. Например:

• Запретить доступ к служебным папкам (/wp-admin/, /wp-includes/).
• Блокировать временные страницы или черновики.
• Ограничить доступ к файлам (.pdf, .jpg, .php).
• Предотвратить дублирование контента (например, страницы с UTM-метками).

Правильно настроенный robots.txt экономит ресурсы роботов, ускоряет индексацию важных страниц и снижает риск ошибок.

Создайте файл с именем robots.txt и разместите его в корне сайта — например, https://goodwillproject.pro/robots.txt.

Пример базового файла:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://goodwillproject.pro/sitemap_index.xml

Объяснение:

• User-agent: * — применяется ко всем роботам.
• Disallow — запрещает доступ к указанным путям.
• Allow — разрешает доступ к конкретному файлу.
• Sitemap — указывает местоположение sitemap.xml.

Неправильный robots.txt может привести к серьёзным проблемам:

• Блокировка всего сайта — если вы случайно добавили Disallow: /.
• Указание неверного пути — например, Disallow: wp-content/uploads/ вместо Disallow: /wp-content/uploads/.
• Использование комментариев — Google не читает строки, начинающиеся с #.
• Отсутствие Sitemap — это необязательно, но рекомендуется.

Проверьте ваш файл через следующие инструменты:

• Robots.txt Tester — Robotstxt.com.
• Яндекс — Проверка robots.txt.

Если вы видите ошибки — исправьте их и обновите файл.

Файл robots.txt не гарантирует, что страница не будет проиндексирована. Если на неё есть внешние ссылки, Google может всё равно показать её в результатах поиска — только без содержимого.

Для полного исключения используйте noindex в meta-тегах или HTTP-заголовках.

Один из клиентов случайно заблокировал весь сайт через robots.txt, добавив Disallow: /.

Мы помогли ему исправить ошибку и восстановить индексацию в ближайшие часы после обращения.

Важно регулярно проверять robots.txt — особенно после обновлений темы или плагинов, размещения новых категорий или страниц.

Robots.txt — это не «волшебная кнопка», а инструмент контроля. Он должен быть частью Вашей технической стратегии, а не заменой ей.

Используйте его правильно — и Вы увидите, как Ваш сайт станет более эффективным в глазах поисковиков.

Для более глубокого понимания рекомендуем:

• Технический SEO-аудит.
• Как работает sitemap.xml.

Используйте внешние инструменты:

• PageSpeed Insights — оценка скорости и рекомендации от Google.
• GTmetrix — детальный анализ загрузки страницы.
• DownForEveryoneOrJustMe — быстрая проверка доступности.
• Yandex robots.txt — проверка валидатором.