Настройка файла robots.txt
1 500 ₽ / сайт
Сайт + проверка через Яндекс.Вебмастер — 2 500 ₽
Комплекс (robots.txt + sitemap.xml) — 2 800 ₽
Что такое robots.txt и зачем он нужен?
Robots.txt — это текстовый файл в корне вашего сайта (например, site.ru/robots.txt). Он даёт инструкции поисковым роботам (Яндекс, Google): какие страницы можно индексировать, а какие — нельзя.
Пример простого robots.txt:
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://site.ru/sitemap.xml
Этот файл разрешает индексацию всего сайта, но запрещает роботам заходить в папки /admin/, /cart/, /checkout/ (личный кабинет, корзина).
Что я делаю
- Анализирую структуру сайта — смотрю, какие страницы нужны в поиске, а какие только мешают.
- Составляю robots.txt — прописываю правила для всех поисковых роботов (Яндекс, Google, другие).
- Закрываю от индексации мусор — служебные страницы, дубли, корзину, личный кабинет, результаты поиска по сайту.
- Добавляю путь к sitemap.xml — чтобы роботы быстрее находили карту сайта.
- Проверяю через Яндекс.Вебмастер — убеждаюсь, что файл работает корректно.
Какие страницы нужно закрывать от индексации
🔐 Админка
/admin/, /wp-admin/, /bitrix/admin/ — закрываем обязательно!
🛒 Корзина и оформление заказа
/cart/, /checkout/, /order/ — эти страницы не нужны в поиске.
👤 Личный кабинет
/personal/, /account/, /my-account/ — только для зарегистрированных пользователей.
🔍 Результаты поиска
/search/?s= — бесконечные дубли страниц.
📦 Страницы фильтров
/?sort=price&page=2 — создают много мусорных URL.
📂 Временные и служебные файлы
/tmp/, /backup/, /.git/, /uploads/temp/
⚠️ Важно! Robots.txt только рекомендует, а не запрещает. Злоумышленники всё равно могут получить доступ. Для реальной защиты используйте пароль или файл .htaccess. Но для SEO robots.txt — это must have.
Примеры из моей практики
Типовой robots.txt для интернет-магазина на WooCommerce:
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /add-to-cart/
Disallow: /?s=
Disallow: *?sort=
Disallow: *?page_id=
Sitemap: https://site.ru/sitemap.xml
Robots.txt для сайта-визитки на WordPress:
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /?s=
Sitemap: https://site.ru/sitemap.xml
Как я проверяю результат
1. Создаю файл и загружаю на сервер
2. Проверяю через robots.txt тестер в Яндекс.Вебмастер
3. Тестирую запрещённые страницы (они не должны индексироваться)
4. Отправляю сайт на переиндексацию
5. Контролирую индексацию в течение 2-3 дней
Часто задаваемые вопросы
Robots.txt удалит страницы из поиска?
Нет. Он просто запрещает роботам заходить на страницы. Чтобы удалить страницы из индекса, нужно использовать noindex или удалить URL через Вебмастер.
А если у меня нет robots.txt?
Поисковики считают, что все страницы можно индексировать. Мусорные страницы попадают в индекс, тратят бюджет краулинга и могут ухудшить SEO.
Как долго роботы увидят новый robots.txt?
Обычно 1-2 дня. Можно ускорить, отправив сайт на переиндексацию через Яндекс.Вебмастер и Google Search Console.
Что будет, если случайно закрыть от индексации весь сайт?
Disallow: / закроет всё. Поисковики перестанут индексировать сайт. Я всегда проверяю файл перед загрузкой, чтобы этого не случилось.
Нужно ли прописывать robots.txt для каждого зеркала (www/без www)?
Да. Я настраиваю основное зеркало и проверяю оба варианта.
Нужна настройка robots.txt для вашего сайта?
Оставить заявку