Проверка robots.txt и sitemap.xml
Разбираем robots.txt: не закрыт ли сайт от индексации, какие разделы запрещены, указан ли sitemap. Проверяем sitemap.xml: доступен ли, сколько адресов, есть ли даты обновления.
Что проверяет инструмент
Загружаем robots.txt и разбираем его по правилам поисковиков: группы User-agent, директивы Disallow и
Allow, Sitemap, Host, Clean-param и Crawl-delay. Отдельно берём карту сайта: адрес из robots.txt или стандартный
/sitemap.xml, проверяем, что это настоящий XML, считаем адреса, смотрим, есть ли даты обновления и нет
ли в карте чужих доменов.
Как читать результат
- Сайт закрыт от индексации — в группе для всех роботов стоит Disallow: /. Самая дорогая ошибка: сайт выпадает из поиска целиком. Чаще всего это забытая настройка с тестового домена.
- Закрыт только для Яндекса или только для Google — отдельная группа для конкретного робота с полным запретом. Так бывает после «оптимизации» по устаревшим советам.
- Sitemap не указан — не ошибка, но роботы найдут карту позже. Добавьте строку Sitemap с полным адресом.
- Sitemap недоступен или не XML — по адресу отдаётся 404 или HTML-страница. Поисковик считает, что карты нет.
- Адресов в карте — сверьте с числом страниц, которые вы хотите видеть в поиске. Ноль адресов у живого сайта значит, что генерация карты сломана.
- Даты lastmod — если их нет, роботы обходят всё подряд; если у всех одна дата, их игнорируют.
Типичные ошибки
Disallow: /, оставленный после переезда. Закрытые папки с CSS и JS, из-за чего Google не может отрисовать страницу и понижает её. Директива Host с http вместо https. Sitemap с адресами старого домена или с http после переезда на https. Карта, которую генерирует плагин раз в год. Robots.txt, который отдаётся с кодом 200, но содержит HTML страницы «не найдено»: для робота это набор мусорных правил.
Что делать
- Для боевого сайта минимальный robots.txt: User-agent: *, Disallow для служебных разделов (админка, корзина, поиск, параметры сортировки), строка Sitemap.
- Не закрывайте папки со стилями и скриптами: поисковики должны видеть страницу как посетитель.
- Проверьте, что sitemap.xml обновляется автоматически при добавлении страниц и содержит только те адреса, которые отдают 200 и открыты для индексации.
- После правок отправьте robots.txt и sitemap на переобход в Вебмастере и Search Console.
Следить постоянно
Случайный noindex или Disallow: / после правок сайта никто не замечает неделями. SiteFalcon проверяет индексируемость каждого сайта в аудите и выделяет закрытие от поиска красным баннером, а суточная проверка sitemap (с тарифа «Старт») ловит ссылки, которые отдают ошибки. Подключить мониторинг. Мета-теги и canonical смотрите в проверке мета-тегов.
Частые вопросы
Как проверить robots.txt сайта?
Введите домен. Мы загрузим /robots.txt, разберём группы User-agent, правила Disallow и Allow, директивы Sitemap и Host, и сразу покажем, не закрыт ли весь сайт от индексации.
Что значит «сайт закрыт от индексации»?
В группе User-agent: * стоит Disallow: / — поисковым роботам запрещено обходить все страницы. Так делают на тестовых сайтах и часто забывают снять при переносе на боевой домен. Сайт исчезает из поиска за несколько недель.
Обязательно ли указывать sitemap в robots.txt?
Не обязательно, но полезно: роботы находят карту сайта без ручного добавления в Вебмастер и Search Console. Указывайте полный адрес с https.
Сколько адресов должно быть в sitemap.xml?
Все страницы, которые вы хотите видеть в поиске, и только они: без закрытых от индексации, без редиректов и 404. До 50 000 адресов в одном файле, дальше индексный sitemap.
Нужен ли lastmod в sitemap?
Желательно, но только честный: дата реального изменения страницы. Если у всех страниц одна дата деплоя, поисковики начинают игнорировать lastmod.